{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "4e9f470a",
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import pandas as pd\n",
    "\n",
    "import lightgbm as lgb\n",
    "\n",
    "from sklearn.model_selection import train_test_split\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5e330558",
   "metadata": {},
   "source": [
    "# 读取数据"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "847b50a5",
   "metadata": {},
   "source": [
    "- ID，客户唯一标识\n",
    "- Gender，客户性别\n",
    "- Age，客户年龄\n",
    "- Region_Code，地区代码\n",
    "- Occupation，客户职业\n",
    "- Channel_Code，客户渠道代码\n",
    "- Vintage，客户服务月份\n",
    "- Credit_Product，信贷产品类型\n",
    "- AvgAccountBalance，客户最近12个月平均账户余额\n",
    "- Is_Active，客户最近3个月是否活跃\n",
    "- Is_Lead，目标变量，1为感兴趣的客户，0为不感兴趣的客户。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "103697f6",
   "metadata": {},
   "outputs": [],
   "source": [
    "train = pd.read_csv('data/train.csv')\n",
    "test = pd.read_csv('data/test.csv')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "260343ca",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ID</th>\n",
       "      <th>Gender</th>\n",
       "      <th>Age</th>\n",
       "      <th>Region_Code</th>\n",
       "      <th>Occupation</th>\n",
       "      <th>Channel_Code</th>\n",
       "      <th>Vintage</th>\n",
       "      <th>Credit_Product</th>\n",
       "      <th>Avg_Account_Balance</th>\n",
       "      <th>Is_Active</th>\n",
       "      <th>Target</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>ZYFGCP3R</td>\n",
       "      <td>Male</td>\n",
       "      <td>58</td>\n",
       "      <td>RG264</td>\n",
       "      <td>Self_Employed</td>\n",
       "      <td>X2</td>\n",
       "      <td>19</td>\n",
       "      <td>No</td>\n",
       "      <td>552449</td>\n",
       "      <td>Yes</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>MQJBCRCF</td>\n",
       "      <td>Female</td>\n",
       "      <td>45</td>\n",
       "      <td>RG271</td>\n",
       "      <td>Self_Employed</td>\n",
       "      <td>X3</td>\n",
       "      <td>104</td>\n",
       "      <td>Yes</td>\n",
       "      <td>525206</td>\n",
       "      <td>No</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>UZOQRG46</td>\n",
       "      <td>Female</td>\n",
       "      <td>30</td>\n",
       "      <td>RG278</td>\n",
       "      <td>Other</td>\n",
       "      <td>X1</td>\n",
       "      <td>25</td>\n",
       "      <td>No</td>\n",
       "      <td>724718</td>\n",
       "      <td>No</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>GCX6RVZS</td>\n",
       "      <td>Female</td>\n",
       "      <td>52</td>\n",
       "      <td>RG283</td>\n",
       "      <td>Self_Employed</td>\n",
       "      <td>X1</td>\n",
       "      <td>43</td>\n",
       "      <td>Yes</td>\n",
       "      <td>1452453</td>\n",
       "      <td>No</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>9V6BRARI</td>\n",
       "      <td>Female</td>\n",
       "      <td>76</td>\n",
       "      <td>RG254</td>\n",
       "      <td>Other</td>\n",
       "      <td>X1</td>\n",
       "      <td>57</td>\n",
       "      <td>No</td>\n",
       "      <td>1895762</td>\n",
       "      <td>No</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "         ID  Gender  Age Region_Code     Occupation Channel_Code  Vintage  \\\n",
       "0  ZYFGCP3R    Male   58       RG264  Self_Employed           X2       19   \n",
       "1  MQJBCRCF  Female   45       RG271  Self_Employed           X3      104   \n",
       "2  UZOQRG46  Female   30       RG278          Other           X1       25   \n",
       "3  GCX6RVZS  Female   52       RG283  Self_Employed           X1       43   \n",
       "4  9V6BRARI  Female   76       RG254          Other           X1       57   \n",
       "\n",
       "  Credit_Product  Avg_Account_Balance Is_Active  Target  \n",
       "0             No               552449       Yes       0  \n",
       "1            Yes               525206        No       1  \n",
       "2             No               724718        No       0  \n",
       "3            Yes              1452453        No       0  \n",
       "4             No              1895762        No       0  "
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train.head(5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "79a4c0b6",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ID</th>\n",
       "      <th>Gender</th>\n",
       "      <th>Age</th>\n",
       "      <th>Region_Code</th>\n",
       "      <th>Occupation</th>\n",
       "      <th>Channel_Code</th>\n",
       "      <th>Vintage</th>\n",
       "      <th>Credit_Product</th>\n",
       "      <th>Avg_Account_Balance</th>\n",
       "      <th>Is_Active</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>AXM2EH3R</td>\n",
       "      <td>Female</td>\n",
       "      <td>43</td>\n",
       "      <td>RG284</td>\n",
       "      <td>Self_Employed</td>\n",
       "      <td>X3</td>\n",
       "      <td>26</td>\n",
       "      <td>Yes</td>\n",
       "      <td>1325325</td>\n",
       "      <td>Yes</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>8ETNJAUW</td>\n",
       "      <td>Female</td>\n",
       "      <td>46</td>\n",
       "      <td>RG282</td>\n",
       "      <td>Self_Employed</td>\n",
       "      <td>X2</td>\n",
       "      <td>14</td>\n",
       "      <td>No</td>\n",
       "      <td>634489</td>\n",
       "      <td>No</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>VCSJTEPW</td>\n",
       "      <td>Female</td>\n",
       "      <td>28</td>\n",
       "      <td>RG254</td>\n",
       "      <td>Self_Employed</td>\n",
       "      <td>X1</td>\n",
       "      <td>15</td>\n",
       "      <td>No</td>\n",
       "      <td>2215655</td>\n",
       "      <td>No</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>9EOYOOHV</td>\n",
       "      <td>Male</td>\n",
       "      <td>58</td>\n",
       "      <td>RG265</td>\n",
       "      <td>Other</td>\n",
       "      <td>X3</td>\n",
       "      <td>15</td>\n",
       "      <td>Yes</td>\n",
       "      <td>925929</td>\n",
       "      <td>Yes</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>S4B53OKJ</td>\n",
       "      <td>Male</td>\n",
       "      <td>75</td>\n",
       "      <td>RG260</td>\n",
       "      <td>Other</td>\n",
       "      <td>X3</td>\n",
       "      <td>111</td>\n",
       "      <td>No</td>\n",
       "      <td>721825</td>\n",
       "      <td>Yes</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "         ID  Gender  Age Region_Code     Occupation Channel_Code  Vintage  \\\n",
       "0  AXM2EH3R  Female   43       RG284  Self_Employed           X3       26   \n",
       "1  8ETNJAUW  Female   46       RG282  Self_Employed           X2       14   \n",
       "2  VCSJTEPW  Female   28       RG254  Self_Employed           X1       15   \n",
       "3  9EOYOOHV    Male   58       RG265          Other           X3       15   \n",
       "4  S4B53OKJ    Male   75       RG260          Other           X3      111   \n",
       "\n",
       "  Credit_Product  Avg_Account_Balance Is_Active  \n",
       "0            Yes              1325325       Yes  \n",
       "1             No               634489        No  \n",
       "2             No              2215655        No  \n",
       "3            Yes               925929       Yes  \n",
       "4             No               721825       Yes  "
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "test.head(5)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "331cc8bb",
   "metadata": {},
   "source": [
    "# 数据分析"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "862dea13",
   "metadata": {},
   "outputs": [],
   "source": [
    "data = pd.concat([train,test])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "id": "70de516b",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'Gender': ['Female', 'Male'], 'Region_Code': ['RG264', 'RG261', 'RG272', 'RG250', 'RG267', 'RG281', 'RG265', 'RG278', 'RG260', 'RG280', 'RG254', 'RG279', 'RG268', 'RG259', 'RG274', 'RG266', 'RG276', 'RG271', 'RG258', 'RG275', 'RG270', 'RG251', 'RG277', 'RG253', 'RG257', 'RG262', 'RG269', 'RG284', 'RG282', 'RG255', 'RG283', 'RG256', 'RG263', 'RG252', 'RG273'], 'Occupation': ['Self_Employed', 'Other', 'Entrepreneur', 'Salaried'], 'Channel_Code': ['X4', 'X1', 'X3', 'X2'], 'Credit_Product': ['Yes', 'No'], 'Is_Active': ['Yes', 'No']}\n"
     ]
    }
   ],
   "source": [
    "# 不同类别\n",
    "cols = ['Gender', 'Region_Code', 'Occupation', 'Channel_Code', 'Credit_Product', 'Is_Active']\n",
    "r = {}\n",
    "for col in cols:\n",
    "    r[col] = list(set(data[col].tolist()))\n",
    "print(r)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "id": "bd6bcb5b",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Credit_Product空值\n",
    "data['Credit_Product'].value_counts()\n",
    "data['Credit_Product'] = data['Credit_Product'].fillna('No')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "68a9cfe2",
   "metadata": {},
   "source": [
    "# 建模"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "109fc39b",
   "metadata": {},
   "outputs": [],
   "source": [
    "data = pd.concat([train,test])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "9825a9b8",
   "metadata": {},
   "outputs": [],
   "source": [
    "gender_dict = {'Female': 1, 'Male': 2}\n",
    "region_dict = {'RG264': 1, 'RG261': 2, 'RG272': 3, 'RG250': 4, 'RG267': 5, 'RG281': 6, 'RG265': 7, 'RG278': 8, 'RG260': 9, 'RG280': 10, 'RG254': 11, 'RG279': 12, 'RG268': 13, 'RG259': 14, 'RG274': 15, 'RG266': 16, 'RG276': 17, 'RG271': 18, 'RG258': 19, 'RG275': 20, 'RG270': 21, 'RG251': 22, 'RG277': 23, 'RG253': 24, 'RG257': 25, 'RG262': 26, 'RG269': 27, 'RG284': 28, 'RG282': 29, 'RG255': 30, 'RG283': 31, 'RG256': 32, 'RG263': 33, 'RG252': 34, 'RG273': 35}\n",
    "occupation_dict = {'Self_Employed': 1, 'Other': 2, 'Entrepreneur': 3, 'Salaried': 4}\n",
    "channel_code_dict = {'X4': 1, 'X1': 2, 'X3': 3, 'X2': 4}\n",
    "credit_product_dict = {'Yes': 2, 'No': 3}\n",
    "is_Active = {'Yes': 1, 'No': 2}\n",
    "\n",
    "\n",
    "data['Credit_Product'] = data['Credit_Product'].fillna('No')\n",
    "\n",
    "data['Gender'] = data['Gender'].map(gender_dict)\n",
    "data['Region_Code'] = data['Region_Code'].map(region_dict)\n",
    "data['Occupation'] = data['Occupation'].map(occupation_dict)\n",
    "data['Channel_Code'] = data['Channel_Code'].map(channel_code_dict)\n",
    "data['Credit_Product'] = data['Credit_Product'].map(credit_product_dict)\n",
    "data['Is_Active'] = data['Is_Active'].map(is_Active)\n",
    "\n",
    "train = data[~data['Target'].isna()]\n",
    "test = data[data['Target'].isna()]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "b5683813",
   "metadata": {},
   "outputs": [],
   "source": [
    "features = ['Gender','Age','Region_Code','Occupation','Channel_Code','Vintage','Credit_Product','Avg_Account_Balance','Is_Active']\n",
    "X = train[features]\n",
    "y = train['Target']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "id": "422fa1a4",
   "metadata": {
    "collapsed": true,
    "jupyter": {
     "outputs_hidden": true
    },
    "tags": []
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "E:\\env\\Anaconda\\lib\\site-packages\\lightgbm\\sklearn.py:736: UserWarning: 'verbose' argument is deprecated and will be removed in a future release of LightGBM. Pass 'log_evaluation()' callback via 'callbacks' argument instead.\n",
      "  _log_warning(\"'verbose' argument is deprecated and will be removed in a future release of LightGBM. \"\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[1]\tvalid_0's auc: 0.767263\n",
      "[2]\tvalid_0's auc: 0.76726\n",
      "[3]\tvalid_0's auc: 0.774794\n",
      "[4]\tvalid_0's auc: 0.775841\n",
      "[5]\tvalid_0's auc: 0.779641\n",
      "[6]\tvalid_0's auc: 0.780573\n",
      "[7]\tvalid_0's auc: 0.781781\n",
      "[8]\tvalid_0's auc: 0.781817\n",
      "[9]\tvalid_0's auc: 0.782743\n",
      "[10]\tvalid_0's auc: 0.782267\n",
      "[11]\tvalid_0's auc: 0.783114\n",
      "[12]\tvalid_0's auc: 0.782921\n",
      "[13]\tvalid_0's auc: 0.782961\n",
      "[14]\tvalid_0's auc: 0.782773\n",
      "[15]\tvalid_0's auc: 0.782376\n",
      "[16]\tvalid_0's auc: 0.782847\n",
      "[17]\tvalid_0's auc: 0.782441\n",
      "[18]\tvalid_0's auc: 0.782162\n",
      "[19]\tvalid_0's auc: 0.782792\n",
      "[20]\tvalid_0's auc: 0.782797\n",
      "[21]\tvalid_0's auc: 0.783229\n",
      "[22]\tvalid_0's auc: 0.782969\n",
      "[23]\tvalid_0's auc: 0.783281\n",
      "[24]\tvalid_0's auc: 0.783021\n",
      "[25]\tvalid_0's auc: 0.783316\n",
      "[26]\tvalid_0's auc: 0.783365\n",
      "[27]\tvalid_0's auc: 0.783637\n",
      "[28]\tvalid_0's auc: 0.783754\n",
      "[29]\tvalid_0's auc: 0.783843\n",
      "[30]\tvalid_0's auc: 0.783922\n",
      "[31]\tvalid_0's auc: 0.783996\n",
      "[32]\tvalid_0's auc: 0.783871\n",
      "[33]\tvalid_0's auc: 0.783879\n",
      "[34]\tvalid_0's auc: 0.783706\n",
      "[35]\tvalid_0's auc: 0.783898\n",
      "[36]\tvalid_0's auc: 0.783964\n",
      "[37]\tvalid_0's auc: 0.783863\n",
      "[38]\tvalid_0's auc: 0.783988\n",
      "[39]\tvalid_0's auc: 0.784046\n",
      "[40]\tvalid_0's auc: 0.784226\n",
      "[41]\tvalid_0's auc: 0.78437\n",
      "[42]\tvalid_0's auc: 0.784603\n",
      "[43]\tvalid_0's auc: 0.784455\n",
      "[44]\tvalid_0's auc: 0.784618\n",
      "[45]\tvalid_0's auc: 0.784623\n",
      "[46]\tvalid_0's auc: 0.784702\n",
      "[47]\tvalid_0's auc: 0.784739\n",
      "[48]\tvalid_0's auc: 0.784739\n",
      "[49]\tvalid_0's auc: 0.784716\n",
      "[50]\tvalid_0's auc: 0.784797\n",
      "[51]\tvalid_0's auc: 0.784835\n",
      "[52]\tvalid_0's auc: 0.784826\n",
      "[53]\tvalid_0's auc: 0.784894\n",
      "[54]\tvalid_0's auc: 0.784833\n",
      "[55]\tvalid_0's auc: 0.784922\n",
      "[56]\tvalid_0's auc: 0.784881\n",
      "[57]\tvalid_0's auc: 0.784807\n",
      "[58]\tvalid_0's auc: 0.784758\n",
      "[59]\tvalid_0's auc: 0.784823\n",
      "[60]\tvalid_0's auc: 0.784766\n",
      "[61]\tvalid_0's auc: 0.784832\n",
      "[62]\tvalid_0's auc: 0.78489\n",
      "[63]\tvalid_0's auc: 0.784901\n",
      "[64]\tvalid_0's auc: 0.784971\n",
      "[65]\tvalid_0's auc: 0.784988\n",
      "[66]\tvalid_0's auc: 0.785022\n",
      "[67]\tvalid_0's auc: 0.78505\n",
      "[68]\tvalid_0's auc: 0.785062\n",
      "[69]\tvalid_0's auc: 0.785041\n",
      "[70]\tvalid_0's auc: 0.785042\n",
      "[71]\tvalid_0's auc: 0.785122\n",
      "[72]\tvalid_0's auc: 0.785089\n",
      "[73]\tvalid_0's auc: 0.785102\n",
      "[74]\tvalid_0's auc: 0.785071\n",
      "[75]\tvalid_0's auc: 0.785147\n",
      "[76]\tvalid_0's auc: 0.785188\n",
      "[77]\tvalid_0's auc: 0.785171\n",
      "[78]\tvalid_0's auc: 0.785188\n",
      "[79]\tvalid_0's auc: 0.785171\n",
      "[80]\tvalid_0's auc: 0.785131\n",
      "[81]\tvalid_0's auc: 0.785084\n",
      "[82]\tvalid_0's auc: 0.785097\n",
      "[83]\tvalid_0's auc: 0.785099\n",
      "[84]\tvalid_0's auc: 0.785088\n",
      "[85]\tvalid_0's auc: 0.785085\n",
      "[86]\tvalid_0's auc: 0.785071\n",
      "[87]\tvalid_0's auc: 0.785171\n",
      "[88]\tvalid_0's auc: 0.78517\n",
      "[89]\tvalid_0's auc: 0.78514\n",
      "[90]\tvalid_0's auc: 0.78514\n",
      "[91]\tvalid_0's auc: 0.785133\n",
      "[92]\tvalid_0's auc: 0.785138\n",
      "[93]\tvalid_0's auc: 0.785117\n",
      "[94]\tvalid_0's auc: 0.785115\n",
      "[95]\tvalid_0's auc: 0.785094\n",
      "[96]\tvalid_0's auc: 0.785065\n",
      "[97]\tvalid_0's auc: 0.785014\n",
      "[98]\tvalid_0's auc: 0.784992\n",
      "[99]\tvalid_0's auc: 0.785041\n",
      "[100]\tvalid_0's auc: 0.785105\n",
      "[101]\tvalid_0's auc: 0.785058\n",
      "[102]\tvalid_0's auc: 0.785034\n",
      "[103]\tvalid_0's auc: 0.784994\n",
      "[104]\tvalid_0's auc: 0.784964\n",
      "[105]\tvalid_0's auc: 0.784973\n",
      "[106]\tvalid_0's auc: 0.784955\n",
      "[107]\tvalid_0's auc: 0.784931\n",
      "[108]\tvalid_0's auc: 0.784904\n",
      "[109]\tvalid_0's auc: 0.784918\n",
      "[110]\tvalid_0's auc: 0.784918\n",
      "[111]\tvalid_0's auc: 0.784934\n",
      "[112]\tvalid_0's auc: 0.784907\n",
      "[113]\tvalid_0's auc: 0.784875\n",
      "[114]\tvalid_0's auc: 0.784833\n",
      "[115]\tvalid_0's auc: 0.784792\n",
      "[116]\tvalid_0's auc: 0.784825\n",
      "[117]\tvalid_0's auc: 0.784753\n",
      "[118]\tvalid_0's auc: 0.78473\n",
      "[119]\tvalid_0's auc: 0.784772\n",
      "[120]\tvalid_0's auc: 0.784774\n",
      "[121]\tvalid_0's auc: 0.784829\n",
      "[122]\tvalid_0's auc: 0.784878\n",
      "[123]\tvalid_0's auc: 0.784871\n",
      "[124]\tvalid_0's auc: 0.784903\n",
      "[125]\tvalid_0's auc: 0.784871\n",
      "[126]\tvalid_0's auc: 0.784874\n",
      "[127]\tvalid_0's auc: 0.784832\n",
      "[128]\tvalid_0's auc: 0.784892\n",
      "[129]\tvalid_0's auc: 0.784879\n",
      "[130]\tvalid_0's auc: 0.784904\n",
      "[131]\tvalid_0's auc: 0.784906\n",
      "[132]\tvalid_0's auc: 0.784966\n",
      "[133]\tvalid_0's auc: 0.784969\n",
      "[134]\tvalid_0's auc: 0.784952\n",
      "[135]\tvalid_0's auc: 0.784939\n",
      "[136]\tvalid_0's auc: 0.784926\n",
      "[137]\tvalid_0's auc: 0.784953\n",
      "[138]\tvalid_0's auc: 0.78496\n",
      "[139]\tvalid_0's auc: 0.784996\n",
      "[140]\tvalid_0's auc: 0.784988\n",
      "[141]\tvalid_0's auc: 0.785004\n",
      "[142]\tvalid_0's auc: 0.785062\n",
      "[143]\tvalid_0's auc: 0.785092\n",
      "[144]\tvalid_0's auc: 0.785057\n",
      "[145]\tvalid_0's auc: 0.785117\n",
      "[146]\tvalid_0's auc: 0.785086\n",
      "[147]\tvalid_0's auc: 0.785077\n",
      "[148]\tvalid_0's auc: 0.785064\n",
      "[149]\tvalid_0's auc: 0.785106\n",
      "[150]\tvalid_0's auc: 0.785128\n",
      "[151]\tvalid_0's auc: 0.785097\n",
      "[152]\tvalid_0's auc: 0.785076\n",
      "[153]\tvalid_0's auc: 0.785064\n",
      "[154]\tvalid_0's auc: 0.785112\n",
      "[155]\tvalid_0's auc: 0.785102\n",
      "[156]\tvalid_0's auc: 0.78513\n",
      "[157]\tvalid_0's auc: 0.785101\n",
      "[158]\tvalid_0's auc: 0.78509\n",
      "[159]\tvalid_0's auc: 0.785063\n",
      "[160]\tvalid_0's auc: 0.785049\n",
      "[161]\tvalid_0's auc: 0.785082\n",
      "[162]\tvalid_0's auc: 0.785103\n",
      "[163]\tvalid_0's auc: 0.785122\n",
      "[164]\tvalid_0's auc: 0.785158\n",
      "[165]\tvalid_0's auc: 0.785136\n",
      "[166]\tvalid_0's auc: 0.785191\n",
      "[167]\tvalid_0's auc: 0.785156\n",
      "[168]\tvalid_0's auc: 0.78513\n",
      "[169]\tvalid_0's auc: 0.785122\n",
      "[170]\tvalid_0's auc: 0.785156\n",
      "[171]\tvalid_0's auc: 0.785168\n",
      "[172]\tvalid_0's auc: 0.785156\n",
      "[173]\tvalid_0's auc: 0.785141\n",
      "[174]\tvalid_0's auc: 0.785176\n",
      "[175]\tvalid_0's auc: 0.785181\n",
      "[176]\tvalid_0's auc: 0.785215\n",
      "[177]\tvalid_0's auc: 0.785247\n",
      "[178]\tvalid_0's auc: 0.785243\n",
      "[179]\tvalid_0's auc: 0.78524\n",
      "[180]\tvalid_0's auc: 0.785219\n",
      "[181]\tvalid_0's auc: 0.785195\n",
      "[182]\tvalid_0's auc: 0.785218\n",
      "[183]\tvalid_0's auc: 0.785209\n",
      "[184]\tvalid_0's auc: 0.785198\n",
      "[185]\tvalid_0's auc: 0.785176\n",
      "[186]\tvalid_0's auc: 0.785159\n",
      "[187]\tvalid_0's auc: 0.785147\n",
      "[188]\tvalid_0's auc: 0.785153\n",
      "[189]\tvalid_0's auc: 0.785146\n",
      "[190]\tvalid_0's auc: 0.785133\n",
      "[191]\tvalid_0's auc: 0.785164\n",
      "[192]\tvalid_0's auc: 0.785186\n",
      "[193]\tvalid_0's auc: 0.785186\n",
      "[194]\tvalid_0's auc: 0.785184\n",
      "[195]\tvalid_0's auc: 0.785149\n",
      "[196]\tvalid_0's auc: 0.785181\n",
      "[197]\tvalid_0's auc: 0.785172\n",
      "[198]\tvalid_0's auc: 0.785173\n",
      "[199]\tvalid_0's auc: 0.785196\n",
      "[200]\tvalid_0's auc: 0.785191\n",
      "[201]\tvalid_0's auc: 0.785214\n",
      "[202]\tvalid_0's auc: 0.785236\n",
      "[203]\tvalid_0's auc: 0.785245\n",
      "[204]\tvalid_0's auc: 0.785252\n",
      "[205]\tvalid_0's auc: 0.785251\n",
      "[206]\tvalid_0's auc: 0.785293\n",
      "[207]\tvalid_0's auc: 0.785291\n",
      "[208]\tvalid_0's auc: 0.785269\n",
      "[209]\tvalid_0's auc: 0.785281\n",
      "[210]\tvalid_0's auc: 0.785268\n",
      "[211]\tvalid_0's auc: 0.785299\n",
      "[212]\tvalid_0's auc: 0.785324\n",
      "[213]\tvalid_0's auc: 0.785309\n",
      "[214]\tvalid_0's auc: 0.785303\n",
      "[215]\tvalid_0's auc: 0.785319\n",
      "[216]\tvalid_0's auc: 0.785316\n",
      "[217]\tvalid_0's auc: 0.785332\n",
      "[218]\tvalid_0's auc: 0.785359\n",
      "[219]\tvalid_0's auc: 0.785378\n",
      "[220]\tvalid_0's auc: 0.78539\n",
      "[221]\tvalid_0's auc: 0.785389\n",
      "[222]\tvalid_0's auc: 0.785386\n",
      "[223]\tvalid_0's auc: 0.785379\n",
      "[224]\tvalid_0's auc: 0.785374\n",
      "[225]\tvalid_0's auc: 0.785367\n",
      "[226]\tvalid_0's auc: 0.785358\n",
      "[227]\tvalid_0's auc: 0.785359\n",
      "[228]\tvalid_0's auc: 0.785339\n",
      "[229]\tvalid_0's auc: 0.785345\n",
      "[230]\tvalid_0's auc: 0.785351\n",
      "[231]\tvalid_0's auc: 0.78534\n",
      "[232]\tvalid_0's auc: 0.785363\n",
      "[233]\tvalid_0's auc: 0.785393\n",
      "[234]\tvalid_0's auc: 0.785392\n",
      "[235]\tvalid_0's auc: 0.785413\n",
      "[236]\tvalid_0's auc: 0.78542\n",
      "[237]\tvalid_0's auc: 0.785422\n",
      "[238]\tvalid_0's auc: 0.78541\n",
      "[239]\tvalid_0's auc: 0.785405\n",
      "[240]\tvalid_0's auc: 0.785388\n",
      "[241]\tvalid_0's auc: 0.785393\n",
      "[242]\tvalid_0's auc: 0.785381\n",
      "[243]\tvalid_0's auc: 0.785416\n",
      "[244]\tvalid_0's auc: 0.785407\n",
      "[245]\tvalid_0's auc: 0.785424\n",
      "[246]\tvalid_0's auc: 0.78543\n",
      "[247]\tvalid_0's auc: 0.785403\n",
      "[248]\tvalid_0's auc: 0.785424\n",
      "[249]\tvalid_0's auc: 0.785445\n",
      "[250]\tvalid_0's auc: 0.785477\n",
      "[251]\tvalid_0's auc: 0.785493\n",
      "[252]\tvalid_0's auc: 0.785524\n",
      "[253]\tvalid_0's auc: 0.785515\n",
      "[254]\tvalid_0's auc: 0.785518\n",
      "[255]\tvalid_0's auc: 0.785491\n",
      "[256]\tvalid_0's auc: 0.785481\n",
      "[257]\tvalid_0's auc: 0.785487\n",
      "[258]\tvalid_0's auc: 0.785506\n",
      "[259]\tvalid_0's auc: 0.785503\n",
      "[260]\tvalid_0's auc: 0.785518\n",
      "[261]\tvalid_0's auc: 0.785511\n",
      "[262]\tvalid_0's auc: 0.785542\n",
      "[263]\tvalid_0's auc: 0.785569\n",
      "[264]\tvalid_0's auc: 0.785588\n",
      "[265]\tvalid_0's auc: 0.785586\n",
      "[266]\tvalid_0's auc: 0.785593\n",
      "[267]\tvalid_0's auc: 0.785598\n",
      "[268]\tvalid_0's auc: 0.785621\n",
      "[269]\tvalid_0's auc: 0.785614\n",
      "[270]\tvalid_0's auc: 0.785621\n",
      "[271]\tvalid_0's auc: 0.785635\n",
      "[272]\tvalid_0's auc: 0.785655\n",
      "[273]\tvalid_0's auc: 0.785656\n",
      "[274]\tvalid_0's auc: 0.785652\n",
      "[275]\tvalid_0's auc: 0.785666\n",
      "[276]\tvalid_0's auc: 0.78565\n",
      "[277]\tvalid_0's auc: 0.785638\n",
      "[278]\tvalid_0's auc: 0.785624\n",
      "[279]\tvalid_0's auc: 0.785636\n",
      "[280]\tvalid_0's auc: 0.785656\n",
      "[281]\tvalid_0's auc: 0.785646\n",
      "[282]\tvalid_0's auc: 0.785661\n",
      "[283]\tvalid_0's auc: 0.785685\n",
      "[284]\tvalid_0's auc: 0.785706\n",
      "[285]\tvalid_0's auc: 0.785705\n",
      "[286]\tvalid_0's auc: 0.785719\n",
      "[287]\tvalid_0's auc: 0.78573\n",
      "[288]\tvalid_0's auc: 0.785734\n",
      "[289]\tvalid_0's auc: 0.785745\n",
      "[290]\tvalid_0's auc: 0.785736\n",
      "[291]\tvalid_0's auc: 0.785722\n",
      "[292]\tvalid_0's auc: 0.785743\n",
      "[293]\tvalid_0's auc: 0.785731\n",
      "[294]\tvalid_0's auc: 0.785741\n",
      "[295]\tvalid_0's auc: 0.785758\n",
      "[296]\tvalid_0's auc: 0.785768\n",
      "[297]\tvalid_0's auc: 0.785778\n",
      "[298]\tvalid_0's auc: 0.785775\n",
      "[299]\tvalid_0's auc: 0.785778\n",
      "[300]\tvalid_0's auc: 0.785793\n",
      "[301]\tvalid_0's auc: 0.785789\n",
      "[302]\tvalid_0's auc: 0.785793\n",
      "[303]\tvalid_0's auc: 0.785796\n",
      "[304]\tvalid_0's auc: 0.785806\n",
      "[305]\tvalid_0's auc: 0.785803\n",
      "[306]\tvalid_0's auc: 0.7858\n",
      "[307]\tvalid_0's auc: 0.785798\n",
      "[308]\tvalid_0's auc: 0.785819\n",
      "[309]\tvalid_0's auc: 0.78583\n",
      "[310]\tvalid_0's auc: 0.785836\n",
      "[311]\tvalid_0's auc: 0.785837\n",
      "[312]\tvalid_0's auc: 0.785855\n",
      "[313]\tvalid_0's auc: 0.785859\n",
      "[314]\tvalid_0's auc: 0.785868\n",
      "[315]\tvalid_0's auc: 0.785875\n",
      "[316]\tvalid_0's auc: 0.785876\n",
      "[317]\tvalid_0's auc: 0.785866\n",
      "[318]\tvalid_0's auc: 0.78587\n",
      "[319]\tvalid_0's auc: 0.785868\n",
      "[320]\tvalid_0's auc: 0.785881\n",
      "[321]\tvalid_0's auc: 0.785875\n",
      "[322]\tvalid_0's auc: 0.785869\n",
      "[323]\tvalid_0's auc: 0.78586\n",
      "[324]\tvalid_0's auc: 0.785872\n",
      "[325]\tvalid_0's auc: 0.785886\n",
      "[326]\tvalid_0's auc: 0.785893\n",
      "[327]\tvalid_0's auc: 0.785904\n",
      "[328]\tvalid_0's auc: 0.785905\n",
      "[329]\tvalid_0's auc: 0.785928\n",
      "[330]\tvalid_0's auc: 0.785943\n",
      "[331]\tvalid_0's auc: 0.78596\n",
      "[332]\tvalid_0's auc: 0.78595\n",
      "[333]\tvalid_0's auc: 0.785943\n",
      "[334]\tvalid_0's auc: 0.785931\n",
      "[335]\tvalid_0's auc: 0.785929\n",
      "[336]\tvalid_0's auc: 0.785923\n",
      "[337]\tvalid_0's auc: 0.785912\n",
      "[338]\tvalid_0's auc: 0.785925\n",
      "[339]\tvalid_0's auc: 0.785929\n",
      "[340]\tvalid_0's auc: 0.785943\n",
      "[341]\tvalid_0's auc: 0.785946\n",
      "[342]\tvalid_0's auc: 0.785942\n",
      "[343]\tvalid_0's auc: 0.785965\n",
      "[344]\tvalid_0's auc: 0.785971\n",
      "[345]\tvalid_0's auc: 0.785983\n",
      "[346]\tvalid_0's auc: 0.785975\n",
      "[347]\tvalid_0's auc: 0.78599\n",
      "[348]\tvalid_0's auc: 0.78598\n",
      "[349]\tvalid_0's auc: 0.785991\n",
      "[350]\tvalid_0's auc: 0.785995\n",
      "[351]\tvalid_0's auc: 0.785997\n",
      "[352]\tvalid_0's auc: 0.786013\n",
      "[353]\tvalid_0's auc: 0.786015\n",
      "[354]\tvalid_0's auc: 0.786027\n",
      "[355]\tvalid_0's auc: 0.786029\n",
      "[356]\tvalid_0's auc: 0.786028\n",
      "[357]\tvalid_0's auc: 0.786039\n",
      "[358]\tvalid_0's auc: 0.786042\n",
      "[359]\tvalid_0's auc: 0.786052\n",
      "[360]\tvalid_0's auc: 0.786055\n",
      "[361]\tvalid_0's auc: 0.786047\n",
      "[362]\tvalid_0's auc: 0.786032\n",
      "[363]\tvalid_0's auc: 0.786021\n",
      "[364]\tvalid_0's auc: 0.786025\n",
      "[365]\tvalid_0's auc: 0.786027\n",
      "[366]\tvalid_0's auc: 0.786017\n",
      "[367]\tvalid_0's auc: 0.786021\n",
      "[368]\tvalid_0's auc: 0.786035\n",
      "[369]\tvalid_0's auc: 0.786053\n",
      "[370]\tvalid_0's auc: 0.786055\n",
      "[371]\tvalid_0's auc: 0.786071\n",
      "[372]\tvalid_0's auc: 0.786065\n",
      "[373]\tvalid_0's auc: 0.786064\n",
      "[374]\tvalid_0's auc: 0.78608\n",
      "[375]\tvalid_0's auc: 0.786092\n",
      "[376]\tvalid_0's auc: 0.786086\n",
      "[377]\tvalid_0's auc: 0.78609\n",
      "[378]\tvalid_0's auc: 0.786085\n",
      "[379]\tvalid_0's auc: 0.786098\n",
      "[380]\tvalid_0's auc: 0.786095\n",
      "[381]\tvalid_0's auc: 0.786103\n",
      "[382]\tvalid_0's auc: 0.786106\n",
      "[383]\tvalid_0's auc: 0.786103\n",
      "[384]\tvalid_0's auc: 0.786112\n",
      "[385]\tvalid_0's auc: 0.786101\n",
      "[386]\tvalid_0's auc: 0.786114\n",
      "[387]\tvalid_0's auc: 0.786121\n",
      "[388]\tvalid_0's auc: 0.786122\n",
      "[389]\tvalid_0's auc: 0.786114\n",
      "[390]\tvalid_0's auc: 0.786109\n",
      "[391]\tvalid_0's auc: 0.786118\n",
      "[392]\tvalid_0's auc: 0.786118\n",
      "[393]\tvalid_0's auc: 0.786118\n",
      "[394]\tvalid_0's auc: 0.786117\n",
      "[395]\tvalid_0's auc: 0.786119\n",
      "[396]\tvalid_0's auc: 0.786109\n",
      "[397]\tvalid_0's auc: 0.786113\n",
      "[398]\tvalid_0's auc: 0.78612\n",
      "[399]\tvalid_0's auc: 0.78614\n",
      "[400]\tvalid_0's auc: 0.786131\n",
      "[401]\tvalid_0's auc: 0.786123\n",
      "[402]\tvalid_0's auc: 0.786119\n",
      "[403]\tvalid_0's auc: 0.786114\n",
      "[404]\tvalid_0's auc: 0.786113\n",
      "[405]\tvalid_0's auc: 0.786124\n",
      "[406]\tvalid_0's auc: 0.786132\n",
      "[407]\tvalid_0's auc: 0.786125\n",
      "[408]\tvalid_0's auc: 0.786126\n",
      "[409]\tvalid_0's auc: 0.786111\n",
      "[410]\tvalid_0's auc: 0.786102\n",
      "[411]\tvalid_0's auc: 0.786109\n",
      "[412]\tvalid_0's auc: 0.786099\n",
      "[413]\tvalid_0's auc: 0.786118\n",
      "[414]\tvalid_0's auc: 0.786116\n",
      "[415]\tvalid_0's auc: 0.786123\n",
      "[416]\tvalid_0's auc: 0.786136\n",
      "[417]\tvalid_0's auc: 0.786146\n",
      "[418]\tvalid_0's auc: 0.786146\n",
      "[419]\tvalid_0's auc: 0.786144\n",
      "[420]\tvalid_0's auc: 0.786149\n",
      "[421]\tvalid_0's auc: 0.786151\n",
      "[422]\tvalid_0's auc: 0.786157\n",
      "[423]\tvalid_0's auc: 0.786156\n",
      "[424]\tvalid_0's auc: 0.78615\n",
      "[425]\tvalid_0's auc: 0.786158\n",
      "[426]\tvalid_0's auc: 0.786149\n",
      "[427]\tvalid_0's auc: 0.786148\n",
      "[428]\tvalid_0's auc: 0.786155\n",
      "[429]\tvalid_0's auc: 0.786162\n",
      "[430]\tvalid_0's auc: 0.786166\n",
      "[431]\tvalid_0's auc: 0.786168\n",
      "[432]\tvalid_0's auc: 0.786171\n",
      "[433]\tvalid_0's auc: 0.786171\n",
      "[434]\tvalid_0's auc: 0.786176\n",
      "[435]\tvalid_0's auc: 0.786166\n",
      "[436]\tvalid_0's auc: 0.786159\n",
      "[437]\tvalid_0's auc: 0.786151\n",
      "[438]\tvalid_0's auc: 0.786147\n",
      "[439]\tvalid_0's auc: 0.786148\n",
      "[440]\tvalid_0's auc: 0.786145\n",
      "[441]\tvalid_0's auc: 0.786161\n",
      "[442]\tvalid_0's auc: 0.786175\n",
      "[443]\tvalid_0's auc: 0.78619\n",
      "[444]\tvalid_0's auc: 0.786184\n",
      "[445]\tvalid_0's auc: 0.786187\n",
      "[446]\tvalid_0's auc: 0.786197\n",
      "[447]\tvalid_0's auc: 0.786209\n",
      "[448]\tvalid_0's auc: 0.786209\n",
      "[449]\tvalid_0's auc: 0.786217\n",
      "[450]\tvalid_0's auc: 0.786213\n",
      "[451]\tvalid_0's auc: 0.786208\n",
      "[452]\tvalid_0's auc: 0.786219\n",
      "[453]\tvalid_0's auc: 0.786225\n",
      "[454]\tvalid_0's auc: 0.786219\n",
      "[455]\tvalid_0's auc: 0.786233\n",
      "[456]\tvalid_0's auc: 0.786243\n",
      "[457]\tvalid_0's auc: 0.786239\n",
      "[458]\tvalid_0's auc: 0.786244\n",
      "[459]\tvalid_0's auc: 0.786245\n",
      "[460]\tvalid_0's auc: 0.786251\n",
      "[461]\tvalid_0's auc: 0.786248\n",
      "[462]\tvalid_0's auc: 0.786245\n",
      "[463]\tvalid_0's auc: 0.786248\n",
      "[464]\tvalid_0's auc: 0.78627\n",
      "[465]\tvalid_0's auc: 0.786277\n",
      "[466]\tvalid_0's auc: 0.786276\n",
      "[467]\tvalid_0's auc: 0.78628\n",
      "[468]\tvalid_0's auc: 0.786285\n",
      "[469]\tvalid_0's auc: 0.786279\n",
      "[470]\tvalid_0's auc: 0.786277\n",
      "[471]\tvalid_0's auc: 0.786278\n",
      "[472]\tvalid_0's auc: 0.786286\n",
      "[473]\tvalid_0's auc: 0.786286\n",
      "[474]\tvalid_0's auc: 0.786294\n",
      "[475]\tvalid_0's auc: 0.7863\n",
      "[476]\tvalid_0's auc: 0.78631\n",
      "[477]\tvalid_0's auc: 0.786309\n",
      "[478]\tvalid_0's auc: 0.786308\n",
      "[479]\tvalid_0's auc: 0.786308\n",
      "[480]\tvalid_0's auc: 0.786308\n",
      "[481]\tvalid_0's auc: 0.786299\n",
      "[482]\tvalid_0's auc: 0.786301\n",
      "[483]\tvalid_0's auc: 0.786308\n",
      "[484]\tvalid_0's auc: 0.786308\n",
      "[485]\tvalid_0's auc: 0.786301\n",
      "[486]\tvalid_0's auc: 0.78629\n",
      "[487]\tvalid_0's auc: 0.786296\n",
      "[488]\tvalid_0's auc: 0.78631\n",
      "[489]\tvalid_0's auc: 0.786308\n",
      "[490]\tvalid_0's auc: 0.78631\n",
      "[491]\tvalid_0's auc: 0.786308\n",
      "[492]\tvalid_0's auc: 0.786307\n",
      "[493]\tvalid_0's auc: 0.786316\n",
      "[494]\tvalid_0's auc: 0.786316\n",
      "[495]\tvalid_0's auc: 0.786323\n",
      "[496]\tvalid_0's auc: 0.786329\n",
      "[497]\tvalid_0's auc: 0.786324\n",
      "[498]\tvalid_0's auc: 0.786335\n",
      "[499]\tvalid_0's auc: 0.786353\n",
      "[500]\tvalid_0's auc: 0.786347\n",
      "[501]\tvalid_0's auc: 0.786345\n",
      "[502]\tvalid_0's auc: 0.786342\n",
      "[503]\tvalid_0's auc: 0.786349\n",
      "[504]\tvalid_0's auc: 0.786356\n",
      "[505]\tvalid_0's auc: 0.78635\n",
      "[506]\tvalid_0's auc: 0.786354\n",
      "[507]\tvalid_0's auc: 0.786344\n",
      "[508]\tvalid_0's auc: 0.786345\n",
      "[509]\tvalid_0's auc: 0.786338\n",
      "[510]\tvalid_0's auc: 0.786344\n",
      "[511]\tvalid_0's auc: 0.786345\n",
      "[512]\tvalid_0's auc: 0.786345\n",
      "[513]\tvalid_0's auc: 0.786338\n",
      "[514]\tvalid_0's auc: 0.786332\n",
      "[515]\tvalid_0's auc: 0.786332\n",
      "[516]\tvalid_0's auc: 0.786328\n",
      "[517]\tvalid_0's auc: 0.786328\n",
      "[518]\tvalid_0's auc: 0.786329\n",
      "[519]\tvalid_0's auc: 0.786326\n",
      "[520]\tvalid_0's auc: 0.786329\n",
      "[521]\tvalid_0's auc: 0.786325\n",
      "[522]\tvalid_0's auc: 0.786326\n",
      "[523]\tvalid_0's auc: 0.786321\n",
      "[524]\tvalid_0's auc: 0.786327\n",
      "[525]\tvalid_0's auc: 0.786325\n",
      "[526]\tvalid_0's auc: 0.786321\n",
      "[527]\tvalid_0's auc: 0.786325\n",
      "[528]\tvalid_0's auc: 0.786327\n",
      "[529]\tvalid_0's auc: 0.786327\n",
      "[530]\tvalid_0's auc: 0.786327\n",
      "[531]\tvalid_0's auc: 0.786328\n",
      "[532]\tvalid_0's auc: 0.786332\n",
      "[533]\tvalid_0's auc: 0.786333\n",
      "[534]\tvalid_0's auc: 0.786336\n",
      "[535]\tvalid_0's auc: 0.786344\n",
      "[536]\tvalid_0's auc: 0.786339\n",
      "[537]\tvalid_0's auc: 0.786347\n",
      "[538]\tvalid_0's auc: 0.786341\n",
      "[539]\tvalid_0's auc: 0.786357\n",
      "[540]\tvalid_0's auc: 0.786358\n",
      "[541]\tvalid_0's auc: 0.786354\n",
      "[542]\tvalid_0's auc: 0.786362\n",
      "[543]\tvalid_0's auc: 0.786358\n",
      "[544]\tvalid_0's auc: 0.78635\n",
      "[545]\tvalid_0's auc: 0.786348\n",
      "[546]\tvalid_0's auc: 0.786354\n",
      "[547]\tvalid_0's auc: 0.786364\n",
      "[548]\tvalid_0's auc: 0.786375\n",
      "[549]\tvalid_0's auc: 0.786371\n",
      "[550]\tvalid_0's auc: 0.786382\n",
      "[551]\tvalid_0's auc: 0.786372\n",
      "[552]\tvalid_0's auc: 0.786373\n",
      "[553]\tvalid_0's auc: 0.786363\n",
      "[554]\tvalid_0's auc: 0.78636\n",
      "[555]\tvalid_0's auc: 0.786353\n",
      "[556]\tvalid_0's auc: 0.786351\n",
      "[557]\tvalid_0's auc: 0.786355\n",
      "[558]\tvalid_0's auc: 0.786354\n",
      "[559]\tvalid_0's auc: 0.786361\n",
      "[560]\tvalid_0's auc: 0.786363\n",
      "[561]\tvalid_0's auc: 0.786358\n",
      "[562]\tvalid_0's auc: 0.786353\n",
      "[563]\tvalid_0's auc: 0.786351\n",
      "[564]\tvalid_0's auc: 0.786352\n",
      "[565]\tvalid_0's auc: 0.786355\n",
      "[566]\tvalid_0's auc: 0.786355\n",
      "[567]\tvalid_0's auc: 0.786364\n",
      "[568]\tvalid_0's auc: 0.786374\n",
      "[569]\tvalid_0's auc: 0.786376\n",
      "[570]\tvalid_0's auc: 0.786379\n",
      "[571]\tvalid_0's auc: 0.786383\n",
      "[572]\tvalid_0's auc: 0.786387\n",
      "[573]\tvalid_0's auc: 0.786385\n",
      "[574]\tvalid_0's auc: 0.786376\n",
      "[575]\tvalid_0's auc: 0.786375\n",
      "[576]\tvalid_0's auc: 0.786378\n",
      "[577]\tvalid_0's auc: 0.786381\n",
      "[578]\tvalid_0's auc: 0.786386\n",
      "[579]\tvalid_0's auc: 0.786387\n",
      "[580]\tvalid_0's auc: 0.786395\n",
      "[581]\tvalid_0's auc: 0.7864\n",
      "[582]\tvalid_0's auc: 0.786404\n",
      "[583]\tvalid_0's auc: 0.786401\n",
      "[584]\tvalid_0's auc: 0.786403\n",
      "[585]\tvalid_0's auc: 0.786407\n",
      "[586]\tvalid_0's auc: 0.7864\n",
      "[587]\tvalid_0's auc: 0.786397\n",
      "[588]\tvalid_0's auc: 0.786405\n",
      "[589]\tvalid_0's auc: 0.786399\n",
      "[590]\tvalid_0's auc: 0.786403\n",
      "[591]\tvalid_0's auc: 0.7864\n",
      "[592]\tvalid_0's auc: 0.786391\n",
      "[593]\tvalid_0's auc: 0.78639\n",
      "[594]\tvalid_0's auc: 0.786391\n",
      "[595]\tvalid_0's auc: 0.786398\n",
      "[596]\tvalid_0's auc: 0.7864\n",
      "[597]\tvalid_0's auc: 0.786402\n",
      "[598]\tvalid_0's auc: 0.786399\n",
      "[599]\tvalid_0's auc: 0.786404\n",
      "[600]\tvalid_0's auc: 0.786406\n",
      "[601]\tvalid_0's auc: 0.786405\n",
      "[602]\tvalid_0's auc: 0.786407\n",
      "[603]\tvalid_0's auc: 0.7864\n",
      "[604]\tvalid_0's auc: 0.786391\n",
      "[605]\tvalid_0's auc: 0.786386\n",
      "[606]\tvalid_0's auc: 0.786382\n",
      "[607]\tvalid_0's auc: 0.786382\n",
      "[608]\tvalid_0's auc: 0.786384\n",
      "[609]\tvalid_0's auc: 0.786374\n",
      "[610]\tvalid_0's auc: 0.786372\n",
      "[611]\tvalid_0's auc: 0.786371\n",
      "[612]\tvalid_0's auc: 0.786367\n",
      "[613]\tvalid_0's auc: 0.786367\n",
      "[614]\tvalid_0's auc: 0.786368\n",
      "[615]\tvalid_0's auc: 0.786364\n",
      "[616]\tvalid_0's auc: 0.786363\n",
      "[617]\tvalid_0's auc: 0.786361\n",
      "[618]\tvalid_0's auc: 0.786356\n",
      "[619]\tvalid_0's auc: 0.78636\n",
      "[620]\tvalid_0's auc: 0.786365\n",
      "[621]\tvalid_0's auc: 0.786355\n",
      "[622]\tvalid_0's auc: 0.786356\n",
      "[623]\tvalid_0's auc: 0.786346\n",
      "[624]\tvalid_0's auc: 0.786345\n",
      "[625]\tvalid_0's auc: 0.786341\n",
      "[626]\tvalid_0's auc: 0.786341\n",
      "[627]\tvalid_0's auc: 0.786343\n",
      "[628]\tvalid_0's auc: 0.786347\n",
      "[629]\tvalid_0's auc: 0.786338\n",
      "[630]\tvalid_0's auc: 0.786333\n",
      "[631]\tvalid_0's auc: 0.786327\n",
      "[632]\tvalid_0's auc: 0.786322\n",
      "[633]\tvalid_0's auc: 0.786328\n",
      "[634]\tvalid_0's auc: 0.786323\n",
      "[635]\tvalid_0's auc: 0.786322\n",
      "[636]\tvalid_0's auc: 0.786316\n",
      "[637]\tvalid_0's auc: 0.786315\n",
      "[638]\tvalid_0's auc: 0.786312\n",
      "[639]\tvalid_0's auc: 0.786316\n",
      "[640]\tvalid_0's auc: 0.78632\n",
      "[641]\tvalid_0's auc: 0.786317\n",
      "[642]\tvalid_0's auc: 0.786324\n",
      "[643]\tvalid_0's auc: 0.786322\n",
      "[644]\tvalid_0's auc: 0.786319\n",
      "[645]\tvalid_0's auc: 0.786315\n",
      "[646]\tvalid_0's auc: 0.786312\n",
      "[647]\tvalid_0's auc: 0.786311\n",
      "[648]\tvalid_0's auc: 0.786314\n",
      "[649]\tvalid_0's auc: 0.786315\n",
      "[650]\tvalid_0's auc: 0.786317\n",
      "[651]\tvalid_0's auc: 0.786318\n",
      "[652]\tvalid_0's auc: 0.786327\n",
      "[653]\tvalid_0's auc: 0.78633\n",
      "[654]\tvalid_0's auc: 0.786328\n",
      "[655]\tvalid_0's auc: 0.786322\n",
      "[656]\tvalid_0's auc: 0.786316\n",
      "[657]\tvalid_0's auc: 0.786315\n",
      "[658]\tvalid_0's auc: 0.786312\n",
      "[659]\tvalid_0's auc: 0.786303\n",
      "[660]\tvalid_0's auc: 0.786308\n",
      "[661]\tvalid_0's auc: 0.786303\n",
      "[662]\tvalid_0's auc: 0.786296\n",
      "[663]\tvalid_0's auc: 0.786298\n",
      "[664]\tvalid_0's auc: 0.78629\n",
      "[665]\tvalid_0's auc: 0.786293\n",
      "[666]\tvalid_0's auc: 0.786291\n",
      "[667]\tvalid_0's auc: 0.786291\n",
      "[668]\tvalid_0's auc: 0.786288\n",
      "[669]\tvalid_0's auc: 0.786289\n",
      "[670]\tvalid_0's auc: 0.786292\n",
      "[671]\tvalid_0's auc: 0.786291\n",
      "[672]\tvalid_0's auc: 0.786293\n",
      "[673]\tvalid_0's auc: 0.786293\n",
      "[674]\tvalid_0's auc: 0.786289\n",
      "[675]\tvalid_0's auc: 0.786286\n",
      "[676]\tvalid_0's auc: 0.786283\n",
      "[677]\tvalid_0's auc: 0.786278\n",
      "[678]\tvalid_0's auc: 0.786271\n",
      "[679]\tvalid_0's auc: 0.786268\n",
      "[680]\tvalid_0's auc: 0.786266\n",
      "[681]\tvalid_0's auc: 0.786267\n",
      "[682]\tvalid_0's auc: 0.786262\n",
      "[683]\tvalid_0's auc: 0.786255\n",
      "[684]\tvalid_0's auc: 0.786259\n",
      "[685]\tvalid_0's auc: 0.786263\n",
      "[686]\tvalid_0's auc: 0.786258\n",
      "[687]\tvalid_0's auc: 0.786254\n",
      "[688]\tvalid_0's auc: 0.786253\n",
      "[689]\tvalid_0's auc: 0.786259\n",
      "[690]\tvalid_0's auc: 0.786267\n",
      "[691]\tvalid_0's auc: 0.786265\n",
      "[692]\tvalid_0's auc: 0.786262\n",
      "[693]\tvalid_0's auc: 0.78626\n",
      "[694]\tvalid_0's auc: 0.786259\n",
      "[695]\tvalid_0's auc: 0.786262\n",
      "[696]\tvalid_0's auc: 0.78626\n",
      "[697]\tvalid_0's auc: 0.786257\n",
      "[698]\tvalid_0's auc: 0.78626\n",
      "[699]\tvalid_0's auc: 0.786254\n",
      "[700]\tvalid_0's auc: 0.786251\n",
      "[701]\tvalid_0's auc: 0.786254\n",
      "[702]\tvalid_0's auc: 0.786258\n",
      "[703]\tvalid_0's auc: 0.786254\n",
      "[704]\tvalid_0's auc: 0.786257\n",
      "[705]\tvalid_0's auc: 0.78626\n",
      "[706]\tvalid_0's auc: 0.786253\n",
      "[707]\tvalid_0's auc: 0.786247\n",
      "[708]\tvalid_0's auc: 0.786247\n",
      "[709]\tvalid_0's auc: 0.786246\n",
      "[710]\tvalid_0's auc: 0.786249\n",
      "[711]\tvalid_0's auc: 0.786245\n",
      "[712]\tvalid_0's auc: 0.786238\n",
      "[713]\tvalid_0's auc: 0.786239\n",
      "[714]\tvalid_0's auc: 0.786244\n",
      "[715]\tvalid_0's auc: 0.786245\n",
      "[716]\tvalid_0's auc: 0.786246\n",
      "[717]\tvalid_0's auc: 0.78624\n",
      "[718]\tvalid_0's auc: 0.786235\n",
      "[719]\tvalid_0's auc: 0.786229\n",
      "[720]\tvalid_0's auc: 0.786227\n",
      "[721]\tvalid_0's auc: 0.786228\n",
      "[722]\tvalid_0's auc: 0.786228\n",
      "[723]\tvalid_0's auc: 0.786229\n",
      "[724]\tvalid_0's auc: 0.786231\n",
      "[725]\tvalid_0's auc: 0.786229\n",
      "[726]\tvalid_0's auc: 0.786223\n",
      "[727]\tvalid_0's auc: 0.786221\n",
      "[728]\tvalid_0's auc: 0.786219\n",
      "[729]\tvalid_0's auc: 0.786214\n",
      "[730]\tvalid_0's auc: 0.786211\n",
      "[731]\tvalid_0's auc: 0.786211\n",
      "[732]\tvalid_0's auc: 0.786204\n",
      "[733]\tvalid_0's auc: 0.786206\n",
      "[734]\tvalid_0's auc: 0.786213\n",
      "[735]\tvalid_0's auc: 0.786207\n",
      "[736]\tvalid_0's auc: 0.786216\n",
      "[737]\tvalid_0's auc: 0.786214\n",
      "[738]\tvalid_0's auc: 0.786213\n",
      "[739]\tvalid_0's auc: 0.786211\n",
      "[740]\tvalid_0's auc: 0.7862\n",
      "[741]\tvalid_0's auc: 0.786202\n",
      "[742]\tvalid_0's auc: 0.786203\n",
      "[743]\tvalid_0's auc: 0.786204\n",
      "[744]\tvalid_0's auc: 0.786209\n",
      "[745]\tvalid_0's auc: 0.786213\n",
      "[746]\tvalid_0's auc: 0.786212\n",
      "[747]\tvalid_0's auc: 0.78621\n",
      "[748]\tvalid_0's auc: 0.7862\n",
      "[749]\tvalid_0's auc: 0.786193\n",
      "[750]\tvalid_0's auc: 0.786197\n",
      "[751]\tvalid_0's auc: 0.786191\n",
      "[752]\tvalid_0's auc: 0.786187\n",
      "[753]\tvalid_0's auc: 0.786186\n",
      "[754]\tvalid_0's auc: 0.786188\n",
      "[755]\tvalid_0's auc: 0.786183\n",
      "[756]\tvalid_0's auc: 0.786176\n",
      "[757]\tvalid_0's auc: 0.786173\n",
      "[758]\tvalid_0's auc: 0.786165\n",
      "[759]\tvalid_0's auc: 0.786162\n",
      "[760]\tvalid_0's auc: 0.786157\n",
      "[761]\tvalid_0's auc: 0.786148\n",
      "[762]\tvalid_0's auc: 0.786142\n",
      "[763]\tvalid_0's auc: 0.786142\n",
      "[764]\tvalid_0's auc: 0.786136\n",
      "[765]\tvalid_0's auc: 0.786129\n",
      "[766]\tvalid_0's auc: 0.78613\n",
      "[767]\tvalid_0's auc: 0.786129\n",
      "[768]\tvalid_0's auc: 0.786121\n",
      "[769]\tvalid_0's auc: 0.78611\n",
      "[770]\tvalid_0's auc: 0.786108\n",
      "[771]\tvalid_0's auc: 0.786111\n",
      "[772]\tvalid_0's auc: 0.786114\n",
      "[773]\tvalid_0's auc: 0.786115\n",
      "[774]\tvalid_0's auc: 0.78611\n",
      "[775]\tvalid_0's auc: 0.786118\n",
      "[776]\tvalid_0's auc: 0.786108\n",
      "[777]\tvalid_0's auc: 0.786107\n",
      "[778]\tvalid_0's auc: 0.786106\n",
      "[779]\tvalid_0's auc: 0.786108\n",
      "[780]\tvalid_0's auc: 0.786106\n",
      "[781]\tvalid_0's auc: 0.786106\n",
      "[782]\tvalid_0's auc: 0.786101\n",
      "[783]\tvalid_0's auc: 0.786098\n",
      "[784]\tvalid_0's auc: 0.7861\n",
      "[785]\tvalid_0's auc: 0.7861\n",
      "[786]\tvalid_0's auc: 0.786103\n",
      "[787]\tvalid_0's auc: 0.786099\n",
      "[788]\tvalid_0's auc: 0.78609\n",
      "[789]\tvalid_0's auc: 0.786092\n",
      "[790]\tvalid_0's auc: 0.786086\n",
      "[791]\tvalid_0's auc: 0.786082\n",
      "[792]\tvalid_0's auc: 0.786085\n",
      "[793]\tvalid_0's auc: 0.786089\n",
      "[794]\tvalid_0's auc: 0.786088\n",
      "[795]\tvalid_0's auc: 0.786081\n",
      "[796]\tvalid_0's auc: 0.786084\n",
      "[797]\tvalid_0's auc: 0.786076\n",
      "[798]\tvalid_0's auc: 0.786078\n",
      "[799]\tvalid_0's auc: 0.786075\n",
      "[800]\tvalid_0's auc: 0.786077\n",
      "[801]\tvalid_0's auc: 0.786078\n",
      "[802]\tvalid_0's auc: 0.786068\n",
      "[803]\tvalid_0's auc: 0.786067\n",
      "[804]\tvalid_0's auc: 0.786065\n",
      "[805]\tvalid_0's auc: 0.786069\n",
      "[806]\tvalid_0's auc: 0.786068\n",
      "[807]\tvalid_0's auc: 0.786068\n",
      "[808]\tvalid_0's auc: 0.786073\n",
      "[809]\tvalid_0's auc: 0.78608\n",
      "[810]\tvalid_0's auc: 0.786081\n",
      "[811]\tvalid_0's auc: 0.786078\n",
      "[812]\tvalid_0's auc: 0.786082\n",
      "[813]\tvalid_0's auc: 0.786081\n",
      "[814]\tvalid_0's auc: 0.786078\n",
      "[815]\tvalid_0's auc: 0.786077\n",
      "[816]\tvalid_0's auc: 0.786072\n",
      "[817]\tvalid_0's auc: 0.786072\n",
      "[818]\tvalid_0's auc: 0.786067\n",
      "[819]\tvalid_0's auc: 0.786068\n",
      "[820]\tvalid_0's auc: 0.78607\n",
      "[821]\tvalid_0's auc: 0.786076\n",
      "[822]\tvalid_0's auc: 0.786075\n",
      "[823]\tvalid_0's auc: 0.786066\n",
      "[824]\tvalid_0's auc: 0.786063\n",
      "[825]\tvalid_0's auc: 0.786061\n",
      "[826]\tvalid_0's auc: 0.786063\n",
      "[827]\tvalid_0's auc: 0.786058\n",
      "[828]\tvalid_0's auc: 0.78606\n",
      "[829]\tvalid_0's auc: 0.786063\n",
      "[830]\tvalid_0's auc: 0.786065\n",
      "[831]\tvalid_0's auc: 0.78607\n",
      "[832]\tvalid_0's auc: 0.786069\n",
      "[833]\tvalid_0's auc: 0.786069\n",
      "[834]\tvalid_0's auc: 0.786063\n",
      "[835]\tvalid_0's auc: 0.786056\n",
      "[836]\tvalid_0's auc: 0.78606\n",
      "[837]\tvalid_0's auc: 0.786059\n",
      "[838]\tvalid_0's auc: 0.786061\n",
      "[839]\tvalid_0's auc: 0.786062\n",
      "[840]\tvalid_0's auc: 0.78606\n",
      "[841]\tvalid_0's auc: 0.786059\n",
      "[842]\tvalid_0's auc: 0.786059\n",
      "[843]\tvalid_0's auc: 0.786052\n",
      "[844]\tvalid_0's auc: 0.786053\n",
      "[845]\tvalid_0's auc: 0.78605\n",
      "[846]\tvalid_0's auc: 0.786047\n",
      "[847]\tvalid_0's auc: 0.786045\n",
      "[848]\tvalid_0's auc: 0.786045\n",
      "[849]\tvalid_0's auc: 0.78605\n",
      "[850]\tvalid_0's auc: 0.786052\n",
      "[851]\tvalid_0's auc: 0.786049\n",
      "[852]\tvalid_0's auc: 0.786052\n",
      "[853]\tvalid_0's auc: 0.786054\n",
      "[854]\tvalid_0's auc: 0.786053\n",
      "[855]\tvalid_0's auc: 0.786047\n",
      "[856]\tvalid_0's auc: 0.786044\n",
      "[857]\tvalid_0's auc: 0.786045\n",
      "[858]\tvalid_0's auc: 0.786042\n",
      "[859]\tvalid_0's auc: 0.786038\n",
      "[860]\tvalid_0's auc: 0.786032\n",
      "[861]\tvalid_0's auc: 0.786037\n",
      "[862]\tvalid_0's auc: 0.786036\n",
      "[863]\tvalid_0's auc: 0.786036\n",
      "[864]\tvalid_0's auc: 0.786035\n",
      "[865]\tvalid_0's auc: 0.786043\n",
      "[866]\tvalid_0's auc: 0.786043\n",
      "[867]\tvalid_0's auc: 0.786039\n",
      "[868]\tvalid_0's auc: 0.786037\n",
      "[869]\tvalid_0's auc: 0.786044\n",
      "[870]\tvalid_0's auc: 0.786044\n",
      "[871]\tvalid_0's auc: 0.786039\n",
      "[872]\tvalid_0's auc: 0.786037\n",
      "[873]\tvalid_0's auc: 0.786033\n",
      "[874]\tvalid_0's auc: 0.786029\n",
      "[875]\tvalid_0's auc: 0.786033\n",
      "[876]\tvalid_0's auc: 0.78603\n",
      "[877]\tvalid_0's auc: 0.786028\n",
      "[878]\tvalid_0's auc: 0.786025\n",
      "[879]\tvalid_0's auc: 0.786019\n",
      "[880]\tvalid_0's auc: 0.786022\n",
      "[881]\tvalid_0's auc: 0.786015\n",
      "[882]\tvalid_0's auc: 0.786005\n",
      "[883]\tvalid_0's auc: 0.786003\n",
      "[884]\tvalid_0's auc: 0.786006\n",
      "[885]\tvalid_0's auc: 0.786004\n",
      "[886]\tvalid_0's auc: 0.786008\n",
      "[887]\tvalid_0's auc: 0.786007\n",
      "[888]\tvalid_0's auc: 0.786004\n",
      "[889]\tvalid_0's auc: 0.786007\n",
      "[890]\tvalid_0's auc: 0.78601\n",
      "[891]\tvalid_0's auc: 0.786013\n",
      "[892]\tvalid_0's auc: 0.786015\n",
      "[893]\tvalid_0's auc: 0.786013\n",
      "[894]\tvalid_0's auc: 0.78602\n",
      "[895]\tvalid_0's auc: 0.786012\n",
      "[896]\tvalid_0's auc: 0.786014\n",
      "[897]\tvalid_0's auc: 0.786013\n",
      "[898]\tvalid_0's auc: 0.786009\n",
      "[899]\tvalid_0's auc: 0.786012\n",
      "[900]\tvalid_0's auc: 0.786016\n",
      "[901]\tvalid_0's auc: 0.786011\n",
      "[902]\tvalid_0's auc: 0.786009\n",
      "[903]\tvalid_0's auc: 0.786012\n",
      "[904]\tvalid_0's auc: 0.786014\n",
      "[905]\tvalid_0's auc: 0.786004\n",
      "[906]\tvalid_0's auc: 0.785998\n",
      "[907]\tvalid_0's auc: 0.785998\n",
      "[908]\tvalid_0's auc: 0.785994\n",
      "[909]\tvalid_0's auc: 0.785987\n",
      "[910]\tvalid_0's auc: 0.785984\n",
      "[911]\tvalid_0's auc: 0.785987\n",
      "[912]\tvalid_0's auc: 0.785987\n",
      "[913]\tvalid_0's auc: 0.785982\n",
      "[914]\tvalid_0's auc: 0.785982\n",
      "[915]\tvalid_0's auc: 0.785982\n",
      "[916]\tvalid_0's auc: 0.785985\n",
      "[917]\tvalid_0's auc: 0.785986\n",
      "[918]\tvalid_0's auc: 0.785986\n",
      "[919]\tvalid_0's auc: 0.785985\n",
      "[920]\tvalid_0's auc: 0.785983\n",
      "[921]\tvalid_0's auc: 0.785986\n",
      "[922]\tvalid_0's auc: 0.785984\n",
      "[923]\tvalid_0's auc: 0.785987\n",
      "[924]\tvalid_0's auc: 0.785986\n",
      "[925]\tvalid_0's auc: 0.785982\n",
      "[926]\tvalid_0's auc: 0.785985\n",
      "[927]\tvalid_0's auc: 0.785982\n",
      "[928]\tvalid_0's auc: 0.785985\n",
      "[929]\tvalid_0's auc: 0.785976\n",
      "[930]\tvalid_0's auc: 0.78598\n",
      "[931]\tvalid_0's auc: 0.785986\n",
      "[932]\tvalid_0's auc: 0.785985\n",
      "[933]\tvalid_0's auc: 0.785982\n",
      "[934]\tvalid_0's auc: 0.785982\n",
      "[935]\tvalid_0's auc: 0.785982\n",
      "[936]\tvalid_0's auc: 0.785982\n",
      "[937]\tvalid_0's auc: 0.785984\n",
      "[938]\tvalid_0's auc: 0.785982\n",
      "[939]\tvalid_0's auc: 0.785979\n",
      "[940]\tvalid_0's auc: 0.785979\n",
      "[941]\tvalid_0's auc: 0.785976\n",
      "[942]\tvalid_0's auc: 0.785971\n",
      "[943]\tvalid_0's auc: 0.785969\n",
      "[944]\tvalid_0's auc: 0.785968\n",
      "[945]\tvalid_0's auc: 0.785968\n",
      "[946]\tvalid_0's auc: 0.785965\n",
      "[947]\tvalid_0's auc: 0.785965\n",
      "[948]\tvalid_0's auc: 0.785959\n",
      "[949]\tvalid_0's auc: 0.785957\n",
      "[950]\tvalid_0's auc: 0.785964\n",
      "[951]\tvalid_0's auc: 0.785965\n",
      "[952]\tvalid_0's auc: 0.785964\n",
      "[953]\tvalid_0's auc: 0.785964\n",
      "[954]\tvalid_0's auc: 0.785961\n",
      "[955]\tvalid_0's auc: 0.785958\n",
      "[956]\tvalid_0's auc: 0.785958\n",
      "[957]\tvalid_0's auc: 0.785954\n",
      "[958]\tvalid_0's auc: 0.785951\n",
      "[959]\tvalid_0's auc: 0.785951\n",
      "[960]\tvalid_0's auc: 0.78595\n",
      "[961]\tvalid_0's auc: 0.785949\n",
      "[962]\tvalid_0's auc: 0.785948\n",
      "[963]\tvalid_0's auc: 0.785952\n",
      "[964]\tvalid_0's auc: 0.785947\n",
      "[965]\tvalid_0's auc: 0.785953\n",
      "[966]\tvalid_0's auc: 0.785952\n",
      "[967]\tvalid_0's auc: 0.785952\n",
      "[968]\tvalid_0's auc: 0.785949\n",
      "[969]\tvalid_0's auc: 0.785943\n",
      "[970]\tvalid_0's auc: 0.785944\n",
      "[971]\tvalid_0's auc: 0.785945\n",
      "[972]\tvalid_0's auc: 0.785942\n",
      "[973]\tvalid_0's auc: 0.78594\n",
      "[974]\tvalid_0's auc: 0.785936\n",
      "[975]\tvalid_0's auc: 0.785935\n",
      "[976]\tvalid_0's auc: 0.785942\n",
      "[977]\tvalid_0's auc: 0.785943\n",
      "[978]\tvalid_0's auc: 0.785941\n",
      "[979]\tvalid_0's auc: 0.78594\n",
      "[980]\tvalid_0's auc: 0.785937\n",
      "[981]\tvalid_0's auc: 0.785932\n",
      "[982]\tvalid_0's auc: 0.785931\n",
      "[983]\tvalid_0's auc: 0.785927\n",
      "[984]\tvalid_0's auc: 0.785933\n",
      "[985]\tvalid_0's auc: 0.785933\n",
      "[986]\tvalid_0's auc: 0.785933\n",
      "[987]\tvalid_0's auc: 0.78593\n",
      "[988]\tvalid_0's auc: 0.785926\n",
      "[989]\tvalid_0's auc: 0.785921\n",
      "[990]\tvalid_0's auc: 0.78592\n",
      "[991]\tvalid_0's auc: 0.785919\n",
      "[992]\tvalid_0's auc: 0.785914\n",
      "[993]\tvalid_0's auc: 0.785915\n",
      "[994]\tvalid_0's auc: 0.785914\n",
      "[995]\tvalid_0's auc: 0.785916\n",
      "[996]\tvalid_0's auc: 0.785917\n",
      "[997]\tvalid_0's auc: 0.785919\n",
      "[998]\tvalid_0's auc: 0.785916\n",
      "[999]\tvalid_0's auc: 0.785911\n",
      "[1000]\tvalid_0's auc: 0.785911\n",
      "[1001]\tvalid_0's auc: 0.785914\n",
      "[1002]\tvalid_0's auc: 0.785913\n",
      "[1003]\tvalid_0's auc: 0.785915\n",
      "[1004]\tvalid_0's auc: 0.785914\n",
      "[1005]\tvalid_0's auc: 0.785916\n",
      "[1006]\tvalid_0's auc: 0.785917\n",
      "[1007]\tvalid_0's auc: 0.785911\n",
      "[1008]\tvalid_0's auc: 0.785912\n",
      "[1009]\tvalid_0's auc: 0.785913\n",
      "[1010]\tvalid_0's auc: 0.785912\n",
      "[1011]\tvalid_0's auc: 0.785915\n",
      "[1012]\tvalid_0's auc: 0.785909\n",
      "[1013]\tvalid_0's auc: 0.785907\n",
      "[1014]\tvalid_0's auc: 0.785906\n",
      "[1015]\tvalid_0's auc: 0.785904\n",
      "[1016]\tvalid_0's auc: 0.785904\n",
      "[1017]\tvalid_0's auc: 0.785904\n",
      "[1018]\tvalid_0's auc: 0.785907\n",
      "[1019]\tvalid_0's auc: 0.785905\n",
      "[1020]\tvalid_0's auc: 0.7859\n",
      "[1021]\tvalid_0's auc: 0.785905\n",
      "[1022]\tvalid_0's auc: 0.785912\n",
      "[1023]\tvalid_0's auc: 0.785911\n",
      "[1024]\tvalid_0's auc: 0.785916\n",
      "[1025]\tvalid_0's auc: 0.785914\n",
      "[1026]\tvalid_0's auc: 0.785911\n",
      "[1027]\tvalid_0's auc: 0.785907\n",
      "[1028]\tvalid_0's auc: 0.785901\n",
      "[1029]\tvalid_0's auc: 0.785895\n",
      "[1030]\tvalid_0's auc: 0.785894\n",
      "[1031]\tvalid_0's auc: 0.785902\n",
      "[1032]\tvalid_0's auc: 0.785897\n",
      "[1033]\tvalid_0's auc: 0.785893\n",
      "[1034]\tvalid_0's auc: 0.785892\n",
      "[1035]\tvalid_0's auc: 0.785887\n",
      "[1036]\tvalid_0's auc: 0.785882\n",
      "[1037]\tvalid_0's auc: 0.785883\n",
      "[1038]\tvalid_0's auc: 0.785882\n",
      "[1039]\tvalid_0's auc: 0.785883\n",
      "[1040]\tvalid_0's auc: 0.785884\n",
      "[1041]\tvalid_0's auc: 0.78588\n",
      "[1042]\tvalid_0's auc: 0.785872\n",
      "[1043]\tvalid_0's auc: 0.78587\n",
      "[1044]\tvalid_0's auc: 0.785867\n",
      "[1045]\tvalid_0's auc: 0.785862\n",
      "[1046]\tvalid_0's auc: 0.785856\n",
      "[1047]\tvalid_0's auc: 0.785858\n",
      "[1048]\tvalid_0's auc: 0.785859\n",
      "[1049]\tvalid_0's auc: 0.785854\n",
      "[1050]\tvalid_0's auc: 0.78585\n",
      "[1051]\tvalid_0's auc: 0.785851\n",
      "[1052]\tvalid_0's auc: 0.785856\n",
      "[1053]\tvalid_0's auc: 0.78586\n",
      "[1054]\tvalid_0's auc: 0.785859\n",
      "[1055]\tvalid_0's auc: 0.785854\n",
      "[1056]\tvalid_0's auc: 0.785854\n",
      "[1057]\tvalid_0's auc: 0.785854\n",
      "[1058]\tvalid_0's auc: 0.785847\n",
      "[1059]\tvalid_0's auc: 0.785845\n",
      "[1060]\tvalid_0's auc: 0.785839\n",
      "[1061]\tvalid_0's auc: 0.785836\n",
      "[1062]\tvalid_0's auc: 0.785844\n",
      "[1063]\tvalid_0's auc: 0.785844\n",
      "[1064]\tvalid_0's auc: 0.785845\n",
      "[1065]\tvalid_0's auc: 0.785848\n",
      "[1066]\tvalid_0's auc: 0.785847\n",
      "[1067]\tvalid_0's auc: 0.785841\n",
      "[1068]\tvalid_0's auc: 0.785837\n",
      "[1069]\tvalid_0's auc: 0.785835\n",
      "[1070]\tvalid_0's auc: 0.785832\n",
      "[1071]\tvalid_0's auc: 0.785825\n",
      "[1072]\tvalid_0's auc: 0.785826\n",
      "[1073]\tvalid_0's auc: 0.785829\n",
      "[1074]\tvalid_0's auc: 0.785824\n",
      "[1075]\tvalid_0's auc: 0.785825\n",
      "[1076]\tvalid_0's auc: 0.785827\n",
      "[1077]\tvalid_0's auc: 0.785822\n",
      "[1078]\tvalid_0's auc: 0.785825\n",
      "[1079]\tvalid_0's auc: 0.785823\n",
      "[1080]\tvalid_0's auc: 0.785822\n",
      "[1081]\tvalid_0's auc: 0.785814\n",
      "[1082]\tvalid_0's auc: 0.785811\n",
      "[1083]\tvalid_0's auc: 0.785805\n",
      "[1084]\tvalid_0's auc: 0.785807\n",
      "[1085]\tvalid_0's auc: 0.785805\n",
      "[1086]\tvalid_0's auc: 0.7858\n",
      "[1087]\tvalid_0's auc: 0.785799\n",
      "[1088]\tvalid_0's auc: 0.785798\n",
      "[1089]\tvalid_0's auc: 0.785796\n",
      "[1090]\tvalid_0's auc: 0.785793\n",
      "[1091]\tvalid_0's auc: 0.785793\n",
      "[1092]\tvalid_0's auc: 0.785794\n",
      "[1093]\tvalid_0's auc: 0.78579\n",
      "[1094]\tvalid_0's auc: 0.785789\n",
      "[1095]\tvalid_0's auc: 0.785791\n",
      "[1096]\tvalid_0's auc: 0.785792\n",
      "[1097]\tvalid_0's auc: 0.78579\n",
      "[1098]\tvalid_0's auc: 0.785787\n",
      "[1099]\tvalid_0's auc: 0.785781\n",
      "[1100]\tvalid_0's auc: 0.785783\n",
      "[1101]\tvalid_0's auc: 0.785784\n",
      "[1102]\tvalid_0's auc: 0.785778\n",
      "[1103]\tvalid_0's auc: 0.785771\n",
      "[1104]\tvalid_0's auc: 0.785771\n",
      "[1105]\tvalid_0's auc: 0.785769\n",
      "[1106]\tvalid_0's auc: 0.785769\n",
      "[1107]\tvalid_0's auc: 0.785767\n",
      "[1108]\tvalid_0's auc: 0.785766\n",
      "[1109]\tvalid_0's auc: 0.785759\n",
      "[1110]\tvalid_0's auc: 0.785754\n",
      "[1111]\tvalid_0's auc: 0.785751\n",
      "[1112]\tvalid_0's auc: 0.785751\n",
      "[1113]\tvalid_0's auc: 0.785748\n",
      "[1114]\tvalid_0's auc: 0.785749\n",
      "[1115]\tvalid_0's auc: 0.785744\n",
      "[1116]\tvalid_0's auc: 0.785742\n",
      "[1117]\tvalid_0's auc: 0.785744\n",
      "[1118]\tvalid_0's auc: 0.785746\n",
      "[1119]\tvalid_0's auc: 0.785746\n",
      "[1120]\tvalid_0's auc: 0.785744\n",
      "[1121]\tvalid_0's auc: 0.785741\n",
      "[1122]\tvalid_0's auc: 0.785739\n",
      "[1123]\tvalid_0's auc: 0.785739\n",
      "[1124]\tvalid_0's auc: 0.785735\n",
      "[1125]\tvalid_0's auc: 0.785737\n",
      "[1126]\tvalid_0's auc: 0.785735\n",
      "[1127]\tvalid_0's auc: 0.78573\n",
      "[1128]\tvalid_0's auc: 0.785726\n",
      "[1129]\tvalid_0's auc: 0.785722\n",
      "[1130]\tvalid_0's auc: 0.785718\n",
      "[1131]\tvalid_0's auc: 0.785715\n",
      "[1132]\tvalid_0's auc: 0.785714\n",
      "[1133]\tvalid_0's auc: 0.78571\n",
      "[1134]\tvalid_0's auc: 0.785705\n",
      "[1135]\tvalid_0's auc: 0.785705\n",
      "[1136]\tvalid_0's auc: 0.785703\n",
      "[1137]\tvalid_0's auc: 0.785694\n",
      "[1138]\tvalid_0's auc: 0.785693\n",
      "[1139]\tvalid_0's auc: 0.785695\n",
      "[1140]\tvalid_0's auc: 0.785693\n",
      "[1141]\tvalid_0's auc: 0.78569\n",
      "[1142]\tvalid_0's auc: 0.78569\n",
      "[1143]\tvalid_0's auc: 0.785688\n",
      "[1144]\tvalid_0's auc: 0.785686\n",
      "[1145]\tvalid_0's auc: 0.785679\n",
      "[1146]\tvalid_0's auc: 0.785678\n",
      "[1147]\tvalid_0's auc: 0.785678\n",
      "[1148]\tvalid_0's auc: 0.785676\n",
      "[1149]\tvalid_0's auc: 0.785678\n",
      "[1150]\tvalid_0's auc: 0.785671\n",
      "[1151]\tvalid_0's auc: 0.785671\n",
      "[1152]\tvalid_0's auc: 0.785672\n",
      "[1153]\tvalid_0's auc: 0.785669\n",
      "[1154]\tvalid_0's auc: 0.785665\n",
      "[1155]\tvalid_0's auc: 0.785665\n",
      "[1156]\tvalid_0's auc: 0.785659\n",
      "[1157]\tvalid_0's auc: 0.785655\n",
      "[1158]\tvalid_0's auc: 0.785652\n",
      "[1159]\tvalid_0's auc: 0.785651\n",
      "[1160]\tvalid_0's auc: 0.78565\n",
      "[1161]\tvalid_0's auc: 0.785647\n",
      "[1162]\tvalid_0's auc: 0.785647\n",
      "[1163]\tvalid_0's auc: 0.785644\n",
      "[1164]\tvalid_0's auc: 0.78564\n",
      "[1165]\tvalid_0's auc: 0.785638\n",
      "[1166]\tvalid_0's auc: 0.785633\n",
      "[1167]\tvalid_0's auc: 0.785631\n",
      "[1168]\tvalid_0's auc: 0.785627\n",
      "[1169]\tvalid_0's auc: 0.785624\n",
      "[1170]\tvalid_0's auc: 0.785623\n",
      "[1171]\tvalid_0's auc: 0.785614\n",
      "[1172]\tvalid_0's auc: 0.785617\n",
      "[1173]\tvalid_0's auc: 0.785615\n",
      "[1174]\tvalid_0's auc: 0.785614\n",
      "[1175]\tvalid_0's auc: 0.785614\n",
      "[1176]\tvalid_0's auc: 0.785611\n",
      "[1177]\tvalid_0's auc: 0.785606\n",
      "[1178]\tvalid_0's auc: 0.785613\n",
      "[1179]\tvalid_0's auc: 0.785613\n",
      "[1180]\tvalid_0's auc: 0.785613\n",
      "[1181]\tvalid_0's auc: 0.785609\n",
      "[1182]\tvalid_0's auc: 0.785612\n",
      "[1183]\tvalid_0's auc: 0.785606\n",
      "[1184]\tvalid_0's auc: 0.785604\n",
      "[1185]\tvalid_0's auc: 0.785605\n",
      "[1186]\tvalid_0's auc: 0.785602\n",
      "[1187]\tvalid_0's auc: 0.785605\n",
      "[1188]\tvalid_0's auc: 0.785606\n",
      "[1189]\tvalid_0's auc: 0.785608\n",
      "[1190]\tvalid_0's auc: 0.785599\n",
      "[1191]\tvalid_0's auc: 0.7856\n",
      "[1192]\tvalid_0's auc: 0.785601\n",
      "[1193]\tvalid_0's auc: 0.785601\n",
      "[1194]\tvalid_0's auc: 0.785604\n",
      "[1195]\tvalid_0's auc: 0.785604\n",
      "[1196]\tvalid_0's auc: 0.7856\n",
      "[1197]\tvalid_0's auc: 0.785598\n",
      "[1198]\tvalid_0's auc: 0.785599\n",
      "[1199]\tvalid_0's auc: 0.785601\n",
      "[1200]\tvalid_0's auc: 0.7856\n",
      "[1201]\tvalid_0's auc: 0.785597\n",
      "[1202]\tvalid_0's auc: 0.785595\n",
      "[1203]\tvalid_0's auc: 0.785594\n",
      "[1204]\tvalid_0's auc: 0.785591\n",
      "[1205]\tvalid_0's auc: 0.785592\n",
      "[1206]\tvalid_0's auc: 0.785591\n",
      "[1207]\tvalid_0's auc: 0.785592\n",
      "[1208]\tvalid_0's auc: 0.785598\n",
      "[1209]\tvalid_0's auc: 0.7856\n",
      "[1210]\tvalid_0's auc: 0.785601\n",
      "[1211]\tvalid_0's auc: 0.785594\n",
      "[1212]\tvalid_0's auc: 0.785595\n",
      "[1213]\tvalid_0's auc: 0.785592\n",
      "[1214]\tvalid_0's auc: 0.785586\n",
      "[1215]\tvalid_0's auc: 0.785585\n",
      "[1216]\tvalid_0's auc: 0.785589\n",
      "[1217]\tvalid_0's auc: 0.78559\n",
      "[1218]\tvalid_0's auc: 0.785587\n",
      "[1219]\tvalid_0's auc: 0.785586\n",
      "[1220]\tvalid_0's auc: 0.785583\n",
      "[1221]\tvalid_0's auc: 0.785581\n",
      "[1222]\tvalid_0's auc: 0.785578\n",
      "[1223]\tvalid_0's auc: 0.785579\n",
      "[1224]\tvalid_0's auc: 0.785579\n",
      "[1225]\tvalid_0's auc: 0.785581\n",
      "[1226]\tvalid_0's auc: 0.785584\n",
      "[1227]\tvalid_0's auc: 0.785582\n",
      "[1228]\tvalid_0's auc: 0.785579\n",
      "[1229]\tvalid_0's auc: 0.785575\n",
      "[1230]\tvalid_0's auc: 0.785577\n",
      "[1231]\tvalid_0's auc: 0.785577\n",
      "[1232]\tvalid_0's auc: 0.785576\n",
      "[1233]\tvalid_0's auc: 0.785579\n",
      "[1234]\tvalid_0's auc: 0.785574\n",
      "[1235]\tvalid_0's auc: 0.78557\n",
      "[1236]\tvalid_0's auc: 0.785566\n",
      "[1237]\tvalid_0's auc: 0.785563\n",
      "[1238]\tvalid_0's auc: 0.785563\n",
      "[1239]\tvalid_0's auc: 0.785562\n",
      "[1240]\tvalid_0's auc: 0.785559\n",
      "[1241]\tvalid_0's auc: 0.785555\n",
      "[1242]\tvalid_0's auc: 0.785547\n",
      "[1243]\tvalid_0's auc: 0.785549\n",
      "[1244]\tvalid_0's auc: 0.785548\n",
      "[1245]\tvalid_0's auc: 0.785546\n",
      "[1246]\tvalid_0's auc: 0.785545\n",
      "[1247]\tvalid_0's auc: 0.785542\n",
      "[1248]\tvalid_0's auc: 0.785542\n",
      "[1249]\tvalid_0's auc: 0.785539\n",
      "[1250]\tvalid_0's auc: 0.78553\n",
      "[1251]\tvalid_0's auc: 0.78553\n",
      "[1252]\tvalid_0's auc: 0.785529\n",
      "[1253]\tvalid_0's auc: 0.78553\n",
      "[1254]\tvalid_0's auc: 0.785534\n",
      "[1255]\tvalid_0's auc: 0.785533\n",
      "[1256]\tvalid_0's auc: 0.785532\n",
      "[1257]\tvalid_0's auc: 0.785529\n",
      "[1258]\tvalid_0's auc: 0.785526\n",
      "[1259]\tvalid_0's auc: 0.785525\n",
      "[1260]\tvalid_0's auc: 0.785521\n",
      "[1261]\tvalid_0's auc: 0.785517\n",
      "[1262]\tvalid_0's auc: 0.785514\n",
      "[1263]\tvalid_0's auc: 0.78551\n",
      "[1264]\tvalid_0's auc: 0.785509\n",
      "[1265]\tvalid_0's auc: 0.785507\n",
      "[1266]\tvalid_0's auc: 0.785501\n",
      "[1267]\tvalid_0's auc: 0.785504\n",
      "[1268]\tvalid_0's auc: 0.785506\n",
      "[1269]\tvalid_0's auc: 0.785502\n",
      "[1270]\tvalid_0's auc: 0.785491\n",
      "[1271]\tvalid_0's auc: 0.785491\n",
      "[1272]\tvalid_0's auc: 0.78549\n",
      "[1273]\tvalid_0's auc: 0.785484\n",
      "[1274]\tvalid_0's auc: 0.785489\n",
      "[1275]\tvalid_0's auc: 0.785485\n",
      "[1276]\tvalid_0's auc: 0.785483\n",
      "[1277]\tvalid_0's auc: 0.785483\n",
      "[1278]\tvalid_0's auc: 0.785486\n",
      "[1279]\tvalid_0's auc: 0.785486\n",
      "[1280]\tvalid_0's auc: 0.785485\n",
      "[1281]\tvalid_0's auc: 0.785484\n",
      "[1282]\tvalid_0's auc: 0.785483\n",
      "[1283]\tvalid_0's auc: 0.785483\n",
      "[1284]\tvalid_0's auc: 0.785481\n",
      "[1285]\tvalid_0's auc: 0.785479\n",
      "[1286]\tvalid_0's auc: 0.785476\n",
      "[1287]\tvalid_0's auc: 0.785473\n",
      "[1288]\tvalid_0's auc: 0.785477\n",
      "[1289]\tvalid_0's auc: 0.785477\n",
      "[1290]\tvalid_0's auc: 0.785475\n",
      "[1291]\tvalid_0's auc: 0.78547\n",
      "[1292]\tvalid_0's auc: 0.785471\n",
      "[1293]\tvalid_0's auc: 0.78547\n",
      "[1294]\tvalid_0's auc: 0.785467\n",
      "[1295]\tvalid_0's auc: 0.785467\n",
      "[1296]\tvalid_0's auc: 0.785469\n",
      "[1297]\tvalid_0's auc: 0.785469\n",
      "[1298]\tvalid_0's auc: 0.785467\n",
      "[1299]\tvalid_0's auc: 0.785465\n",
      "[1300]\tvalid_0's auc: 0.785462\n",
      "[1301]\tvalid_0's auc: 0.785461\n",
      "[1302]\tvalid_0's auc: 0.785455\n",
      "[1303]\tvalid_0's auc: 0.785451\n",
      "[1304]\tvalid_0's auc: 0.785448\n",
      "[1305]\tvalid_0's auc: 0.785447\n",
      "[1306]\tvalid_0's auc: 0.785442\n",
      "[1307]\tvalid_0's auc: 0.785442\n",
      "[1308]\tvalid_0's auc: 0.785439\n",
      "[1309]\tvalid_0's auc: 0.785435\n",
      "[1310]\tvalid_0's auc: 0.785437\n",
      "[1311]\tvalid_0's auc: 0.785434\n",
      "[1312]\tvalid_0's auc: 0.785436\n",
      "[1313]\tvalid_0's auc: 0.785431\n",
      "[1314]\tvalid_0's auc: 0.785435\n",
      "[1315]\tvalid_0's auc: 0.785436\n",
      "[1316]\tvalid_0's auc: 0.785435\n",
      "[1317]\tvalid_0's auc: 0.785433\n",
      "[1318]\tvalid_0's auc: 0.785426\n",
      "[1319]\tvalid_0's auc: 0.78543\n",
      "[1320]\tvalid_0's auc: 0.785431\n",
      "[1321]\tvalid_0's auc: 0.785424\n",
      "[1322]\tvalid_0's auc: 0.785422\n",
      "[1323]\tvalid_0's auc: 0.785418\n",
      "[1324]\tvalid_0's auc: 0.785413\n",
      "[1325]\tvalid_0's auc: 0.785412\n",
      "[1326]\tvalid_0's auc: 0.785407\n",
      "[1327]\tvalid_0's auc: 0.785402\n",
      "[1328]\tvalid_0's auc: 0.785406\n",
      "[1329]\tvalid_0's auc: 0.785405\n",
      "[1330]\tvalid_0's auc: 0.785401\n",
      "[1331]\tvalid_0's auc: 0.785396\n",
      "[1332]\tvalid_0's auc: 0.785399\n",
      "[1333]\tvalid_0's auc: 0.785394\n",
      "[1334]\tvalid_0's auc: 0.785392\n",
      "[1335]\tvalid_0's auc: 0.785392\n",
      "[1336]\tvalid_0's auc: 0.785389\n",
      "[1337]\tvalid_0's auc: 0.785387\n",
      "[1338]\tvalid_0's auc: 0.78538\n",
      "[1339]\tvalid_0's auc: 0.785379\n",
      "[1340]\tvalid_0's auc: 0.785374\n",
      "[1341]\tvalid_0's auc: 0.78537\n",
      "[1342]\tvalid_0's auc: 0.785371\n",
      "[1343]\tvalid_0's auc: 0.785369\n",
      "[1344]\tvalid_0's auc: 0.785363\n",
      "[1345]\tvalid_0's auc: 0.785354\n",
      "[1346]\tvalid_0's auc: 0.785348\n",
      "[1347]\tvalid_0's auc: 0.785344\n",
      "[1348]\tvalid_0's auc: 0.78534\n",
      "[1349]\tvalid_0's auc: 0.785336\n",
      "[1350]\tvalid_0's auc: 0.785328\n",
      "[1351]\tvalid_0's auc: 0.785326\n",
      "[1352]\tvalid_0's auc: 0.785326\n",
      "[1353]\tvalid_0's auc: 0.785324\n",
      "[1354]\tvalid_0's auc: 0.785326\n",
      "[1355]\tvalid_0's auc: 0.785318\n",
      "[1356]\tvalid_0's auc: 0.785314\n",
      "[1357]\tvalid_0's auc: 0.785313\n",
      "[1358]\tvalid_0's auc: 0.78531\n",
      "[1359]\tvalid_0's auc: 0.785309\n",
      "[1360]\tvalid_0's auc: 0.785308\n",
      "[1361]\tvalid_0's auc: 0.7853\n",
      "[1362]\tvalid_0's auc: 0.785296\n",
      "[1363]\tvalid_0's auc: 0.785295\n",
      "[1364]\tvalid_0's auc: 0.785292\n",
      "[1365]\tvalid_0's auc: 0.78529\n",
      "[1366]\tvalid_0's auc: 0.785283\n",
      "[1367]\tvalid_0's auc: 0.785283\n",
      "[1368]\tvalid_0's auc: 0.785282\n",
      "[1369]\tvalid_0's auc: 0.785278\n",
      "[1370]\tvalid_0's auc: 0.785286\n",
      "[1371]\tvalid_0's auc: 0.785281\n",
      "[1372]\tvalid_0's auc: 0.785273\n",
      "[1373]\tvalid_0's auc: 0.78527\n",
      "[1374]\tvalid_0's auc: 0.785268\n",
      "[1375]\tvalid_0's auc: 0.785267\n",
      "[1376]\tvalid_0's auc: 0.785263\n",
      "[1377]\tvalid_0's auc: 0.785258\n",
      "[1378]\tvalid_0's auc: 0.785251\n",
      "[1379]\tvalid_0's auc: 0.785245\n",
      "[1380]\tvalid_0's auc: 0.785241\n",
      "[1381]\tvalid_0's auc: 0.785234\n",
      "[1382]\tvalid_0's auc: 0.785229\n",
      "[1383]\tvalid_0's auc: 0.785229\n",
      "[1384]\tvalid_0's auc: 0.785225\n",
      "[1385]\tvalid_0's auc: 0.785222\n",
      "[1386]\tvalid_0's auc: 0.785224\n",
      "[1387]\tvalid_0's auc: 0.785221\n",
      "[1388]\tvalid_0's auc: 0.785223\n",
      "[1389]\tvalid_0's auc: 0.785222\n",
      "[1390]\tvalid_0's auc: 0.785218\n",
      "[1391]\tvalid_0's auc: 0.785215\n",
      "[1392]\tvalid_0's auc: 0.785215\n",
      "[1393]\tvalid_0's auc: 0.785215\n",
      "[1394]\tvalid_0's auc: 0.785216\n",
      "[1395]\tvalid_0's auc: 0.78522\n",
      "[1396]\tvalid_0's auc: 0.785217\n",
      "[1397]\tvalid_0's auc: 0.785216\n",
      "[1398]\tvalid_0's auc: 0.785216\n",
      "[1399]\tvalid_0's auc: 0.785214\n",
      "[1400]\tvalid_0's auc: 0.785213\n",
      "[1401]\tvalid_0's auc: 0.785214\n",
      "[1402]\tvalid_0's auc: 0.785218\n",
      "[1403]\tvalid_0's auc: 0.78522\n",
      "[1404]\tvalid_0's auc: 0.785217\n",
      "[1405]\tvalid_0's auc: 0.785219\n",
      "[1406]\tvalid_0's auc: 0.785214\n",
      "[1407]\tvalid_0's auc: 0.78521\n",
      "[1408]\tvalid_0's auc: 0.785206\n",
      "[1409]\tvalid_0's auc: 0.785203\n",
      "[1410]\tvalid_0's auc: 0.7852\n",
      "[1411]\tvalid_0's auc: 0.785198\n",
      "[1412]\tvalid_0's auc: 0.785191\n",
      "[1413]\tvalid_0's auc: 0.785188\n",
      "[1414]\tvalid_0's auc: 0.785194\n",
      "[1415]\tvalid_0's auc: 0.785192\n",
      "[1416]\tvalid_0's auc: 0.785192\n",
      "[1417]\tvalid_0's auc: 0.785191\n",
      "[1418]\tvalid_0's auc: 0.785193\n",
      "[1419]\tvalid_0's auc: 0.785195\n",
      "[1420]\tvalid_0's auc: 0.78519\n",
      "[1421]\tvalid_0's auc: 0.785191\n",
      "[1422]\tvalid_0's auc: 0.785191\n",
      "[1423]\tvalid_0's auc: 0.785185\n",
      "[1424]\tvalid_0's auc: 0.785183\n",
      "[1425]\tvalid_0's auc: 0.785178\n",
      "[1426]\tvalid_0's auc: 0.785175\n",
      "[1427]\tvalid_0's auc: 0.785176\n",
      "[1428]\tvalid_0's auc: 0.785173\n",
      "[1429]\tvalid_0's auc: 0.785173\n",
      "[1430]\tvalid_0's auc: 0.785168\n",
      "[1431]\tvalid_0's auc: 0.785163\n",
      "[1432]\tvalid_0's auc: 0.785163\n",
      "[1433]\tvalid_0's auc: 0.785164\n",
      "[1434]\tvalid_0's auc: 0.785161\n",
      "[1435]\tvalid_0's auc: 0.785159\n",
      "[1436]\tvalid_0's auc: 0.785158\n",
      "[1437]\tvalid_0's auc: 0.785155\n",
      "[1438]\tvalid_0's auc: 0.785154\n",
      "[1439]\tvalid_0's auc: 0.785152\n",
      "[1440]\tvalid_0's auc: 0.78515\n",
      "[1441]\tvalid_0's auc: 0.785149\n",
      "[1442]\tvalid_0's auc: 0.785142\n",
      "[1443]\tvalid_0's auc: 0.785142\n",
      "[1444]\tvalid_0's auc: 0.785141\n",
      "[1445]\tvalid_0's auc: 0.785139\n",
      "[1446]\tvalid_0's auc: 0.785134\n",
      "[1447]\tvalid_0's auc: 0.785132\n",
      "[1448]\tvalid_0's auc: 0.785124\n",
      "[1449]\tvalid_0's auc: 0.785127\n",
      "[1450]\tvalid_0's auc: 0.785122\n",
      "[1451]\tvalid_0's auc: 0.785117\n",
      "[1452]\tvalid_0's auc: 0.785118\n",
      "[1453]\tvalid_0's auc: 0.785109\n",
      "[1454]\tvalid_0's auc: 0.785107\n",
      "[1455]\tvalid_0's auc: 0.785104\n",
      "[1456]\tvalid_0's auc: 0.785104\n",
      "[1457]\tvalid_0's auc: 0.785102\n",
      "[1458]\tvalid_0's auc: 0.785104\n",
      "[1459]\tvalid_0's auc: 0.785098\n",
      "[1460]\tvalid_0's auc: 0.785095\n",
      "[1461]\tvalid_0's auc: 0.785091\n",
      "[1462]\tvalid_0's auc: 0.785091\n",
      "[1463]\tvalid_0's auc: 0.785092\n",
      "[1464]\tvalid_0's auc: 0.785094\n",
      "[1465]\tvalid_0's auc: 0.785095\n",
      "[1466]\tvalid_0's auc: 0.785091\n",
      "[1467]\tvalid_0's auc: 0.785089\n",
      "[1468]\tvalid_0's auc: 0.785089\n",
      "[1469]\tvalid_0's auc: 0.78509\n",
      "[1470]\tvalid_0's auc: 0.785082\n",
      "[1471]\tvalid_0's auc: 0.785078\n",
      "[1472]\tvalid_0's auc: 0.78508\n",
      "[1473]\tvalid_0's auc: 0.785074\n",
      "[1474]\tvalid_0's auc: 0.785071\n",
      "[1475]\tvalid_0's auc: 0.785065\n",
      "[1476]\tvalid_0's auc: 0.785063\n",
      "[1477]\tvalid_0's auc: 0.785062\n",
      "[1478]\tvalid_0's auc: 0.78506\n",
      "[1479]\tvalid_0's auc: 0.785056\n",
      "[1480]\tvalid_0's auc: 0.785051\n",
      "[1481]\tvalid_0's auc: 0.785045\n",
      "[1482]\tvalid_0's auc: 0.78504\n",
      "[1483]\tvalid_0's auc: 0.785035\n",
      "[1484]\tvalid_0's auc: 0.785034\n",
      "[1485]\tvalid_0's auc: 0.785028\n",
      "[1486]\tvalid_0's auc: 0.78503\n",
      "[1487]\tvalid_0's auc: 0.785026\n",
      "[1488]\tvalid_0's auc: 0.785023\n",
      "[1489]\tvalid_0's auc: 0.785022\n",
      "[1490]\tvalid_0's auc: 0.785021\n",
      "[1491]\tvalid_0's auc: 0.785018\n",
      "[1492]\tvalid_0's auc: 0.785015\n",
      "[1493]\tvalid_0's auc: 0.785014\n",
      "[1494]\tvalid_0's auc: 0.785014\n",
      "[1495]\tvalid_0's auc: 0.785017\n",
      "[1496]\tvalid_0's auc: 0.785017\n",
      "[1497]\tvalid_0's auc: 0.785016\n",
      "[1498]\tvalid_0's auc: 0.785016\n",
      "[1499]\tvalid_0's auc: 0.785017\n",
      "[1500]\tvalid_0's auc: 0.785015\n",
      "[1501]\tvalid_0's auc: 0.785012\n",
      "[1502]\tvalid_0's auc: 0.78501\n",
      "[1503]\tvalid_0's auc: 0.785013\n",
      "[1504]\tvalid_0's auc: 0.785015\n",
      "[1505]\tvalid_0's auc: 0.785012\n",
      "[1506]\tvalid_0's auc: 0.785006\n",
      "[1507]\tvalid_0's auc: 0.785001\n",
      "[1508]\tvalid_0's auc: 0.784997\n",
      "[1509]\tvalid_0's auc: 0.784993\n",
      "[1510]\tvalid_0's auc: 0.784994\n",
      "[1511]\tvalid_0's auc: 0.784992\n",
      "[1512]\tvalid_0's auc: 0.784985\n",
      "[1513]\tvalid_0's auc: 0.784981\n",
      "[1514]\tvalid_0's auc: 0.784982\n",
      "[1515]\tvalid_0's auc: 0.784983\n",
      "[1516]\tvalid_0's auc: 0.784979\n",
      "[1517]\tvalid_0's auc: 0.784978\n",
      "[1518]\tvalid_0's auc: 0.78498\n",
      "[1519]\tvalid_0's auc: 0.784981\n",
      "[1520]\tvalid_0's auc: 0.78498\n",
      "[1521]\tvalid_0's auc: 0.784978\n",
      "[1522]\tvalid_0's auc: 0.784976\n",
      "[1523]\tvalid_0's auc: 0.784978\n",
      "[1524]\tvalid_0's auc: 0.784972\n",
      "[1525]\tvalid_0's auc: 0.784969\n",
      "[1526]\tvalid_0's auc: 0.784964\n",
      "[1527]\tvalid_0's auc: 0.784961\n",
      "[1528]\tvalid_0's auc: 0.784955\n",
      "[1529]\tvalid_0's auc: 0.784955\n",
      "[1530]\tvalid_0's auc: 0.784953\n",
      "[1531]\tvalid_0's auc: 0.784948\n",
      "[1532]\tvalid_0's auc: 0.784944\n",
      "[1533]\tvalid_0's auc: 0.78494\n",
      "[1534]\tvalid_0's auc: 0.784939\n",
      "[1535]\tvalid_0's auc: 0.784935\n",
      "[1536]\tvalid_0's auc: 0.784932\n",
      "[1537]\tvalid_0's auc: 0.784935\n",
      "[1538]\tvalid_0's auc: 0.78493\n",
      "[1539]\tvalid_0's auc: 0.784927\n",
      "[1540]\tvalid_0's auc: 0.784926\n",
      "[1541]\tvalid_0's auc: 0.784925\n",
      "[1542]\tvalid_0's auc: 0.78492\n",
      "[1543]\tvalid_0's auc: 0.784916\n",
      "[1544]\tvalid_0's auc: 0.784914\n",
      "[1545]\tvalid_0's auc: 0.784914\n",
      "[1546]\tvalid_0's auc: 0.784909\n",
      "[1547]\tvalid_0's auc: 0.784911\n",
      "[1548]\tvalid_0's auc: 0.784912\n",
      "[1549]\tvalid_0's auc: 0.784903\n",
      "[1550]\tvalid_0's auc: 0.784904\n",
      "[1551]\tvalid_0's auc: 0.784902\n",
      "[1552]\tvalid_0's auc: 0.784903\n",
      "[1553]\tvalid_0's auc: 0.784904\n",
      "[1554]\tvalid_0's auc: 0.7849\n",
      "[1555]\tvalid_0's auc: 0.784899\n",
      "[1556]\tvalid_0's auc: 0.7849\n",
      "[1557]\tvalid_0's auc: 0.784896\n",
      "[1558]\tvalid_0's auc: 0.784893\n",
      "[1559]\tvalid_0's auc: 0.784897\n",
      "[1560]\tvalid_0's auc: 0.784898\n",
      "[1561]\tvalid_0's auc: 0.784895\n",
      "[1562]\tvalid_0's auc: 0.784891\n",
      "[1563]\tvalid_0's auc: 0.784892\n",
      "[1564]\tvalid_0's auc: 0.784888\n",
      "[1565]\tvalid_0's auc: 0.784884\n",
      "[1566]\tvalid_0's auc: 0.784882\n",
      "[1567]\tvalid_0's auc: 0.784877\n",
      "[1568]\tvalid_0's auc: 0.784876\n",
      "[1569]\tvalid_0's auc: 0.784875\n",
      "[1570]\tvalid_0's auc: 0.784872\n",
      "[1571]\tvalid_0's auc: 0.784872\n",
      "[1572]\tvalid_0's auc: 0.784876\n",
      "[1573]\tvalid_0's auc: 0.78487\n",
      "[1574]\tvalid_0's auc: 0.784866\n",
      "[1575]\tvalid_0's auc: 0.784863\n",
      "[1576]\tvalid_0's auc: 0.784862\n",
      "[1577]\tvalid_0's auc: 0.784856\n",
      "[1578]\tvalid_0's auc: 0.784855\n",
      "[1579]\tvalid_0's auc: 0.784852\n",
      "[1580]\tvalid_0's auc: 0.784849\n",
      "[1581]\tvalid_0's auc: 0.784849\n",
      "[1582]\tvalid_0's auc: 0.784847\n",
      "[1583]\tvalid_0's auc: 0.784839\n",
      "[1584]\tvalid_0's auc: 0.784838\n",
      "[1585]\tvalid_0's auc: 0.784834\n",
      "[1586]\tvalid_0's auc: 0.784835\n",
      "[1587]\tvalid_0's auc: 0.784831\n",
      "[1588]\tvalid_0's auc: 0.784829\n",
      "[1589]\tvalid_0's auc: 0.784828\n",
      "[1590]\tvalid_0's auc: 0.784828\n",
      "[1591]\tvalid_0's auc: 0.784828\n",
      "[1592]\tvalid_0's auc: 0.784826\n",
      "[1593]\tvalid_0's auc: 0.784824\n",
      "[1594]\tvalid_0's auc: 0.78482\n",
      "[1595]\tvalid_0's auc: 0.784823\n",
      "[1596]\tvalid_0's auc: 0.784822\n",
      "[1597]\tvalid_0's auc: 0.784819\n",
      "[1598]\tvalid_0's auc: 0.784819\n",
      "[1599]\tvalid_0's auc: 0.784817\n",
      "[1600]\tvalid_0's auc: 0.784816\n",
      "[1601]\tvalid_0's auc: 0.784813\n",
      "[1602]\tvalid_0's auc: 0.784817\n",
      "[1603]\tvalid_0's auc: 0.784817\n",
      "[1604]\tvalid_0's auc: 0.784816\n",
      "[1605]\tvalid_0's auc: 0.78482\n",
      "[1606]\tvalid_0's auc: 0.784819\n",
      "[1607]\tvalid_0's auc: 0.784818\n",
      "[1608]\tvalid_0's auc: 0.784814\n",
      "[1609]\tvalid_0's auc: 0.784812\n",
      "[1610]\tvalid_0's auc: 0.784811\n",
      "[1611]\tvalid_0's auc: 0.784805\n",
      "[1612]\tvalid_0's auc: 0.784801\n",
      "[1613]\tvalid_0's auc: 0.784798\n",
      "[1614]\tvalid_0's auc: 0.784796\n",
      "[1615]\tvalid_0's auc: 0.784789\n",
      "[1616]\tvalid_0's auc: 0.784791\n",
      "[1617]\tvalid_0's auc: 0.784789\n",
      "[1618]\tvalid_0's auc: 0.784791\n",
      "[1619]\tvalid_0's auc: 0.784789\n",
      "[1620]\tvalid_0's auc: 0.784783\n",
      "[1621]\tvalid_0's auc: 0.784779\n",
      "[1622]\tvalid_0's auc: 0.78478\n",
      "[1623]\tvalid_0's auc: 0.784777\n",
      "[1624]\tvalid_0's auc: 0.784773\n",
      "[1625]\tvalid_0's auc: 0.784769\n",
      "[1626]\tvalid_0's auc: 0.784766\n",
      "[1627]\tvalid_0's auc: 0.784765\n",
      "[1628]\tvalid_0's auc: 0.784763\n",
      "[1629]\tvalid_0's auc: 0.784761\n",
      "[1630]\tvalid_0's auc: 0.784759\n",
      "[1631]\tvalid_0's auc: 0.784753\n",
      "[1632]\tvalid_0's auc: 0.78475\n",
      "[1633]\tvalid_0's auc: 0.78475\n",
      "[1634]\tvalid_0's auc: 0.784745\n",
      "[1635]\tvalid_0's auc: 0.784743\n",
      "[1636]\tvalid_0's auc: 0.784742\n",
      "[1637]\tvalid_0's auc: 0.78474\n",
      "[1638]\tvalid_0's auc: 0.784737\n",
      "[1639]\tvalid_0's auc: 0.784735\n",
      "[1640]\tvalid_0's auc: 0.784732\n",
      "[1641]\tvalid_0's auc: 0.784725\n",
      "[1642]\tvalid_0's auc: 0.784723\n",
      "[1643]\tvalid_0's auc: 0.784722\n",
      "[1644]\tvalid_0's auc: 0.784723\n",
      "[1645]\tvalid_0's auc: 0.784716\n",
      "[1646]\tvalid_0's auc: 0.784714\n",
      "[1647]\tvalid_0's auc: 0.784711\n",
      "[1648]\tvalid_0's auc: 0.784713\n",
      "[1649]\tvalid_0's auc: 0.784709\n",
      "[1650]\tvalid_0's auc: 0.784703\n",
      "[1651]\tvalid_0's auc: 0.7847\n",
      "[1652]\tvalid_0's auc: 0.784699\n",
      "[1653]\tvalid_0's auc: 0.784695\n",
      "[1654]\tvalid_0's auc: 0.784693\n",
      "[1655]\tvalid_0's auc: 0.784694\n",
      "[1656]\tvalid_0's auc: 0.784694\n",
      "[1657]\tvalid_0's auc: 0.784684\n",
      "[1658]\tvalid_0's auc: 0.784683\n",
      "[1659]\tvalid_0's auc: 0.784681\n",
      "[1660]\tvalid_0's auc: 0.784676\n",
      "[1661]\tvalid_0's auc: 0.784673\n",
      "[1662]\tvalid_0's auc: 0.78467\n",
      "[1663]\tvalid_0's auc: 0.784668\n",
      "[1664]\tvalid_0's auc: 0.784668\n",
      "[1665]\tvalid_0's auc: 0.784664\n",
      "[1666]\tvalid_0's auc: 0.784662\n",
      "[1667]\tvalid_0's auc: 0.784661\n",
      "[1668]\tvalid_0's auc: 0.784658\n",
      "[1669]\tvalid_0's auc: 0.784654\n",
      "[1670]\tvalid_0's auc: 0.784649\n",
      "[1671]\tvalid_0's auc: 0.78465\n",
      "[1672]\tvalid_0's auc: 0.784655\n",
      "[1673]\tvalid_0's auc: 0.784652\n",
      "[1674]\tvalid_0's auc: 0.784652\n",
      "[1675]\tvalid_0's auc: 0.78465\n",
      "[1676]\tvalid_0's auc: 0.784651\n",
      "[1677]\tvalid_0's auc: 0.78465\n",
      "[1678]\tvalid_0's auc: 0.784647\n",
      "[1679]\tvalid_0's auc: 0.784646\n",
      "[1680]\tvalid_0's auc: 0.784642\n",
      "[1681]\tvalid_0's auc: 0.784637\n",
      "[1682]\tvalid_0's auc: 0.784639\n",
      "[1683]\tvalid_0's auc: 0.784641\n",
      "[1684]\tvalid_0's auc: 0.784642\n",
      "[1685]\tvalid_0's auc: 0.784637\n",
      "[1686]\tvalid_0's auc: 0.784639\n",
      "[1687]\tvalid_0's auc: 0.784637\n",
      "[1688]\tvalid_0's auc: 0.784637\n",
      "[1689]\tvalid_0's auc: 0.784634\n",
      "[1690]\tvalid_0's auc: 0.78463\n",
      "[1691]\tvalid_0's auc: 0.784632\n",
      "[1692]\tvalid_0's auc: 0.784632\n",
      "[1693]\tvalid_0's auc: 0.78463\n",
      "[1694]\tvalid_0's auc: 0.784626\n",
      "[1695]\tvalid_0's auc: 0.784622\n",
      "[1696]\tvalid_0's auc: 0.784625\n",
      "[1697]\tvalid_0's auc: 0.784625\n",
      "[1698]\tvalid_0's auc: 0.784622\n",
      "[1699]\tvalid_0's auc: 0.784626\n",
      "[1700]\tvalid_0's auc: 0.784629\n",
      "[1701]\tvalid_0's auc: 0.784626\n",
      "[1702]\tvalid_0's auc: 0.784623\n",
      "[1703]\tvalid_0's auc: 0.784621\n",
      "[1704]\tvalid_0's auc: 0.784621\n",
      "[1705]\tvalid_0's auc: 0.784622\n",
      "[1706]\tvalid_0's auc: 0.784618\n",
      "[1707]\tvalid_0's auc: 0.784612\n",
      "[1708]\tvalid_0's auc: 0.78461\n",
      "[1709]\tvalid_0's auc: 0.784606\n",
      "[1710]\tvalid_0's auc: 0.784606\n",
      "[1711]\tvalid_0's auc: 0.784604\n",
      "[1712]\tvalid_0's auc: 0.784603\n",
      "[1713]\tvalid_0's auc: 0.7846\n",
      "[1714]\tvalid_0's auc: 0.784594\n",
      "[1715]\tvalid_0's auc: 0.784592\n",
      "[1716]\tvalid_0's auc: 0.784584\n",
      "[1717]\tvalid_0's auc: 0.784585\n",
      "[1718]\tvalid_0's auc: 0.784581\n",
      "[1719]\tvalid_0's auc: 0.784581\n",
      "[1720]\tvalid_0's auc: 0.784578\n",
      "[1721]\tvalid_0's auc: 0.784575\n",
      "[1722]\tvalid_0's auc: 0.784569\n",
      "[1723]\tvalid_0's auc: 0.784565\n",
      "[1724]\tvalid_0's auc: 0.784563\n",
      "[1725]\tvalid_0's auc: 0.784559\n",
      "[1726]\tvalid_0's auc: 0.784555\n",
      "[1727]\tvalid_0's auc: 0.784553\n",
      "[1728]\tvalid_0's auc: 0.784553\n",
      "[1729]\tvalid_0's auc: 0.784544\n",
      "[1730]\tvalid_0's auc: 0.78454\n",
      "[1731]\tvalid_0's auc: 0.784535\n",
      "[1732]\tvalid_0's auc: 0.784537\n",
      "[1733]\tvalid_0's auc: 0.784537\n",
      "[1734]\tvalid_0's auc: 0.784535\n",
      "[1735]\tvalid_0's auc: 0.784536\n",
      "[1736]\tvalid_0's auc: 0.784537\n",
      "[1737]\tvalid_0's auc: 0.784539\n",
      "[1738]\tvalid_0's auc: 0.784538\n",
      "[1739]\tvalid_0's auc: 0.784536\n",
      "[1740]\tvalid_0's auc: 0.784531\n",
      "[1741]\tvalid_0's auc: 0.784525\n",
      "[1742]\tvalid_0's auc: 0.784524\n",
      "[1743]\tvalid_0's auc: 0.784524\n",
      "[1744]\tvalid_0's auc: 0.784521\n",
      "[1745]\tvalid_0's auc: 0.784523\n",
      "[1746]\tvalid_0's auc: 0.78452\n",
      "[1747]\tvalid_0's auc: 0.784514\n",
      "[1748]\tvalid_0's auc: 0.784514\n",
      "[1749]\tvalid_0's auc: 0.784511\n",
      "[1750]\tvalid_0's auc: 0.784508\n",
      "[1751]\tvalid_0's auc: 0.784504\n",
      "[1752]\tvalid_0's auc: 0.784498\n",
      "[1753]\tvalid_0's auc: 0.784496\n",
      "[1754]\tvalid_0's auc: 0.78449\n",
      "[1755]\tvalid_0's auc: 0.784489\n",
      "[1756]\tvalid_0's auc: 0.784485\n",
      "[1757]\tvalid_0's auc: 0.784484\n",
      "[1758]\tvalid_0's auc: 0.784485\n",
      "[1759]\tvalid_0's auc: 0.784484\n",
      "[1760]\tvalid_0's auc: 0.784484\n",
      "[1761]\tvalid_0's auc: 0.784481\n",
      "[1762]\tvalid_0's auc: 0.784481\n",
      "[1763]\tvalid_0's auc: 0.784477\n",
      "[1764]\tvalid_0's auc: 0.784475\n",
      "[1765]\tvalid_0's auc: 0.784474\n",
      "[1766]\tvalid_0's auc: 0.784471\n",
      "[1767]\tvalid_0's auc: 0.784473\n",
      "[1768]\tvalid_0's auc: 0.784471\n",
      "[1769]\tvalid_0's auc: 0.784468\n",
      "[1770]\tvalid_0's auc: 0.784466\n",
      "[1771]\tvalid_0's auc: 0.784463\n",
      "[1772]\tvalid_0's auc: 0.784451\n",
      "[1773]\tvalid_0's auc: 0.784447\n",
      "[1774]\tvalid_0's auc: 0.784447\n",
      "[1775]\tvalid_0's auc: 0.784449\n",
      "[1776]\tvalid_0's auc: 0.784451\n",
      "[1777]\tvalid_0's auc: 0.784445\n",
      "[1778]\tvalid_0's auc: 0.784445\n",
      "[1779]\tvalid_0's auc: 0.784441\n",
      "[1780]\tvalid_0's auc: 0.784439\n",
      "[1781]\tvalid_0's auc: 0.784434\n",
      "[1782]\tvalid_0's auc: 0.78443\n",
      "[1783]\tvalid_0's auc: 0.784431\n",
      "[1784]\tvalid_0's auc: 0.78443\n",
      "[1785]\tvalid_0's auc: 0.784428\n",
      "[1786]\tvalid_0's auc: 0.784428\n",
      "[1787]\tvalid_0's auc: 0.784422\n",
      "[1788]\tvalid_0's auc: 0.784421\n",
      "[1789]\tvalid_0's auc: 0.784422\n",
      "[1790]\tvalid_0's auc: 0.784417\n",
      "[1791]\tvalid_0's auc: 0.784414\n",
      "[1792]\tvalid_0's auc: 0.784415\n",
      "[1793]\tvalid_0's auc: 0.784411\n",
      "[1794]\tvalid_0's auc: 0.784407\n",
      "[1795]\tvalid_0's auc: 0.784402\n",
      "[1796]\tvalid_0's auc: 0.784395\n",
      "[1797]\tvalid_0's auc: 0.784395\n",
      "[1798]\tvalid_0's auc: 0.784391\n",
      "[1799]\tvalid_0's auc: 0.784389\n",
      "[1800]\tvalid_0's auc: 0.784384\n",
      "[1801]\tvalid_0's auc: 0.784386\n",
      "[1802]\tvalid_0's auc: 0.784382\n",
      "[1803]\tvalid_0's auc: 0.784376\n",
      "[1804]\tvalid_0's auc: 0.784374\n",
      "[1805]\tvalid_0's auc: 0.784369\n",
      "[1806]\tvalid_0's auc: 0.784369\n",
      "[1807]\tvalid_0's auc: 0.784371\n",
      "[1808]\tvalid_0's auc: 0.784371\n",
      "[1809]\tvalid_0's auc: 0.784364\n",
      "[1810]\tvalid_0's auc: 0.784358\n",
      "[1811]\tvalid_0's auc: 0.784359\n",
      "[1812]\tvalid_0's auc: 0.78436\n",
      "[1813]\tvalid_0's auc: 0.78436\n",
      "[1814]\tvalid_0's auc: 0.784356\n",
      "[1815]\tvalid_0's auc: 0.784358\n",
      "[1816]\tvalid_0's auc: 0.784349\n",
      "[1817]\tvalid_0's auc: 0.78435\n",
      "[1818]\tvalid_0's auc: 0.784346\n",
      "[1819]\tvalid_0's auc: 0.784346\n",
      "[1820]\tvalid_0's auc: 0.784339\n",
      "[1821]\tvalid_0's auc: 0.784339\n",
      "[1822]\tvalid_0's auc: 0.784338\n",
      "[1823]\tvalid_0's auc: 0.784337\n",
      "[1824]\tvalid_0's auc: 0.784332\n",
      "[1825]\tvalid_0's auc: 0.784328\n",
      "[1826]\tvalid_0's auc: 0.784325\n",
      "[1827]\tvalid_0's auc: 0.784324\n",
      "[1828]\tvalid_0's auc: 0.784318\n",
      "[1829]\tvalid_0's auc: 0.784313\n",
      "[1830]\tvalid_0's auc: 0.784307\n",
      "[1831]\tvalid_0's auc: 0.784307\n",
      "[1832]\tvalid_0's auc: 0.784302\n",
      "[1833]\tvalid_0's auc: 0.784301\n",
      "[1834]\tvalid_0's auc: 0.784305\n",
      "[1835]\tvalid_0's auc: 0.784304\n",
      "[1836]\tvalid_0's auc: 0.7843\n",
      "[1837]\tvalid_0's auc: 0.784298\n",
      "[1838]\tvalid_0's auc: 0.784296\n",
      "[1839]\tvalid_0's auc: 0.784292\n",
      "[1840]\tvalid_0's auc: 0.784292\n",
      "[1841]\tvalid_0's auc: 0.784288\n",
      "[1842]\tvalid_0's auc: 0.784286\n",
      "[1843]\tvalid_0's auc: 0.78428\n",
      "[1844]\tvalid_0's auc: 0.784278\n",
      "[1845]\tvalid_0's auc: 0.784276\n",
      "[1846]\tvalid_0's auc: 0.784273\n",
      "[1847]\tvalid_0's auc: 0.784274\n",
      "[1848]\tvalid_0's auc: 0.784267\n",
      "[1849]\tvalid_0's auc: 0.784264\n",
      "[1850]\tvalid_0's auc: 0.784259\n",
      "[1851]\tvalid_0's auc: 0.784253\n",
      "[1852]\tvalid_0's auc: 0.784251\n",
      "[1853]\tvalid_0's auc: 0.784249\n",
      "[1854]\tvalid_0's auc: 0.784248\n",
      "[1855]\tvalid_0's auc: 0.784245\n",
      "[1856]\tvalid_0's auc: 0.784243\n",
      "[1857]\tvalid_0's auc: 0.784241\n",
      "[1858]\tvalid_0's auc: 0.784239\n",
      "[1859]\tvalid_0's auc: 0.784238\n",
      "[1860]\tvalid_0's auc: 0.784237\n",
      "[1861]\tvalid_0's auc: 0.784238\n",
      "[1862]\tvalid_0's auc: 0.784232\n",
      "[1863]\tvalid_0's auc: 0.784229\n",
      "[1864]\tvalid_0's auc: 0.784228\n",
      "[1865]\tvalid_0's auc: 0.784224\n",
      "[1866]\tvalid_0's auc: 0.784225\n",
      "[1867]\tvalid_0's auc: 0.784227\n",
      "[1868]\tvalid_0's auc: 0.784222\n",
      "[1869]\tvalid_0's auc: 0.784219\n",
      "[1870]\tvalid_0's auc: 0.784217\n",
      "[1871]\tvalid_0's auc: 0.784215\n",
      "[1872]\tvalid_0's auc: 0.784211\n",
      "[1873]\tvalid_0's auc: 0.784209\n",
      "[1874]\tvalid_0's auc: 0.784209\n",
      "[1875]\tvalid_0's auc: 0.784207\n",
      "[1876]\tvalid_0's auc: 0.784208\n",
      "[1877]\tvalid_0's auc: 0.784208\n",
      "[1878]\tvalid_0's auc: 0.784207\n",
      "[1879]\tvalid_0's auc: 0.784205\n",
      "[1880]\tvalid_0's auc: 0.784202\n",
      "[1881]\tvalid_0's auc: 0.784199\n",
      "[1882]\tvalid_0's auc: 0.784196\n",
      "[1883]\tvalid_0's auc: 0.784194\n",
      "[1884]\tvalid_0's auc: 0.784194\n",
      "[1885]\tvalid_0's auc: 0.78419\n",
      "[1886]\tvalid_0's auc: 0.784189\n",
      "[1887]\tvalid_0's auc: 0.784181\n",
      "[1888]\tvalid_0's auc: 0.784186\n",
      "[1889]\tvalid_0's auc: 0.784184\n",
      "[1890]\tvalid_0's auc: 0.784184\n",
      "[1891]\tvalid_0's auc: 0.78418\n",
      "[1892]\tvalid_0's auc: 0.784178\n",
      "[1893]\tvalid_0's auc: 0.784174\n",
      "[1894]\tvalid_0's auc: 0.784172\n",
      "[1895]\tvalid_0's auc: 0.784168\n",
      "[1896]\tvalid_0's auc: 0.784167\n",
      "[1897]\tvalid_0's auc: 0.784162\n",
      "[1898]\tvalid_0's auc: 0.784162\n",
      "[1899]\tvalid_0's auc: 0.784163\n",
      "[1900]\tvalid_0's auc: 0.784162\n",
      "[1901]\tvalid_0's auc: 0.784156\n",
      "[1902]\tvalid_0's auc: 0.784154\n",
      "[1903]\tvalid_0's auc: 0.784153\n",
      "[1904]\tvalid_0's auc: 0.784152\n",
      "[1905]\tvalid_0's auc: 0.78415\n",
      "[1906]\tvalid_0's auc: 0.784148\n",
      "[1907]\tvalid_0's auc: 0.784144\n",
      "[1908]\tvalid_0's auc: 0.784139\n",
      "[1909]\tvalid_0's auc: 0.784139\n",
      "[1910]\tvalid_0's auc: 0.78414\n",
      "[1911]\tvalid_0's auc: 0.784137\n",
      "[1912]\tvalid_0's auc: 0.784136\n",
      "[1913]\tvalid_0's auc: 0.784128\n",
      "[1914]\tvalid_0's auc: 0.784125\n",
      "[1915]\tvalid_0's auc: 0.784122\n",
      "[1916]\tvalid_0's auc: 0.784117\n",
      "[1917]\tvalid_0's auc: 0.784113\n",
      "[1918]\tvalid_0's auc: 0.78411\n",
      "[1919]\tvalid_0's auc: 0.784109\n",
      "[1920]\tvalid_0's auc: 0.784107\n",
      "[1921]\tvalid_0's auc: 0.784104\n",
      "[1922]\tvalid_0's auc: 0.784103\n",
      "[1923]\tvalid_0's auc: 0.784103\n",
      "[1924]\tvalid_0's auc: 0.784099\n",
      "[1925]\tvalid_0's auc: 0.784094\n",
      "[1926]\tvalid_0's auc: 0.784089\n",
      "[1927]\tvalid_0's auc: 0.784085\n",
      "[1928]\tvalid_0's auc: 0.784081\n",
      "[1929]\tvalid_0's auc: 0.784081\n",
      "[1930]\tvalid_0's auc: 0.784079\n",
      "[1931]\tvalid_0's auc: 0.78408\n",
      "[1932]\tvalid_0's auc: 0.784077\n",
      "[1933]\tvalid_0's auc: 0.784072\n",
      "[1934]\tvalid_0's auc: 0.784071\n",
      "[1935]\tvalid_0's auc: 0.784073\n",
      "[1936]\tvalid_0's auc: 0.784072\n",
      "[1937]\tvalid_0's auc: 0.784064\n",
      "[1938]\tvalid_0's auc: 0.784058\n",
      "[1939]\tvalid_0's auc: 0.784057\n",
      "[1940]\tvalid_0's auc: 0.784051\n",
      "[1941]\tvalid_0's auc: 0.784049\n",
      "[1942]\tvalid_0's auc: 0.784048\n",
      "[1943]\tvalid_0's auc: 0.784047\n",
      "[1944]\tvalid_0's auc: 0.784044\n",
      "[1945]\tvalid_0's auc: 0.784041\n",
      "[1946]\tvalid_0's auc: 0.784032\n",
      "[1947]\tvalid_0's auc: 0.784033\n",
      "[1948]\tvalid_0's auc: 0.784033\n",
      "[1949]\tvalid_0's auc: 0.784029\n",
      "[1950]\tvalid_0's auc: 0.784028\n",
      "[1951]\tvalid_0's auc: 0.784026\n",
      "[1952]\tvalid_0's auc: 0.784023\n",
      "[1953]\tvalid_0's auc: 0.784018\n",
      "[1954]\tvalid_0's auc: 0.784016\n",
      "[1955]\tvalid_0's auc: 0.784011\n",
      "[1956]\tvalid_0's auc: 0.784005\n",
      "[1957]\tvalid_0's auc: 0.784005\n",
      "[1958]\tvalid_0's auc: 0.784003\n",
      "[1959]\tvalid_0's auc: 0.784001\n",
      "[1960]\tvalid_0's auc: 0.783997\n",
      "[1961]\tvalid_0's auc: 0.783994\n",
      "[1962]\tvalid_0's auc: 0.783994\n",
      "[1963]\tvalid_0's auc: 0.783993\n",
      "[1964]\tvalid_0's auc: 0.783995\n",
      "[1965]\tvalid_0's auc: 0.783993\n",
      "[1966]\tvalid_0's auc: 0.783991\n",
      "[1967]\tvalid_0's auc: 0.783981\n",
      "[1968]\tvalid_0's auc: 0.783981\n",
      "[1969]\tvalid_0's auc: 0.783977\n",
      "[1970]\tvalid_0's auc: 0.783974\n",
      "[1971]\tvalid_0's auc: 0.783974\n",
      "[1972]\tvalid_0's auc: 0.783968\n",
      "[1973]\tvalid_0's auc: 0.783966\n",
      "[1974]\tvalid_0's auc: 0.783964\n",
      "[1975]\tvalid_0's auc: 0.783961\n",
      "[1976]\tvalid_0's auc: 0.783961\n",
      "[1977]\tvalid_0's auc: 0.783955\n",
      "[1978]\tvalid_0's auc: 0.783954\n",
      "[1979]\tvalid_0's auc: 0.783953\n",
      "[1980]\tvalid_0's auc: 0.783948\n",
      "[1981]\tvalid_0's auc: 0.783947\n",
      "[1982]\tvalid_0's auc: 0.783942\n",
      "[1983]\tvalid_0's auc: 0.783938\n",
      "[1984]\tvalid_0's auc: 0.783934\n",
      "[1985]\tvalid_0's auc: 0.783933\n",
      "[1986]\tvalid_0's auc: 0.783932\n",
      "[1987]\tvalid_0's auc: 0.783931\n",
      "[1988]\tvalid_0's auc: 0.783925\n",
      "[1989]\tvalid_0's auc: 0.783922\n",
      "[1990]\tvalid_0's auc: 0.783916\n",
      "[1991]\tvalid_0's auc: 0.783914\n",
      "[1992]\tvalid_0's auc: 0.783912\n",
      "[1993]\tvalid_0's auc: 0.783912\n",
      "[1994]\tvalid_0's auc: 0.783907\n",
      "[1995]\tvalid_0's auc: 0.783904\n",
      "[1996]\tvalid_0's auc: 0.783904\n",
      "[1997]\tvalid_0's auc: 0.783905\n",
      "[1998]\tvalid_0's auc: 0.783904\n",
      "[1999]\tvalid_0's auc: 0.783901\n",
      "[2000]\tvalid_0's auc: 0.783896\n"
     ]
    }
   ],
   "source": [
    "seed = 42\n",
    "# model = xgb.XGBClassifier(tree_method='gpu_hist',n_estimators=200,reg_alpha=0.01)\n",
    "model = lgb.LGBMClassifier(num_leaves=512,\n",
    "                           max_depth=10,\n",
    "                           learning_rate=0.005,\n",
    "                           n_estimators=2000,\n",
    "                           subsample=0.8,\n",
    "                           feature_fraction=0.8,\n",
    "                           reg_alpha=0.5,\n",
    "                           reg_lambda=0.5,\n",
    "                           random_state=seed,\n",
    "                           metric='auc',\n",
    "                           boosting_type='gbdt',\n",
    "                           subsample_freq=1,\n",
    "                           bagging_fraction=0.8)\n",
    "\n",
    "X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=seed)\n",
    "\n",
    "\n",
    "model = model.fit(X_train,y_train,\n",
    "                  eval_set=[(X_test, y_test)],\n",
    "                  eval_metric='auc',\n",
    "                  verbose = True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "id": "15140a76",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\turke\\AppData\\Local\\Temp\\ipykernel_19544\\3050542498.py:8: SettingWithCopyWarning: \n",
      "A value is trying to be set on a copy of a slice from a DataFrame.\n",
      "Try using .loc[row_indexer,col_indexer] = value instead\n",
      "\n",
      "See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy\n",
      "  test['Target'] = final_result\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ID</th>\n",
       "      <th>Gender</th>\n",
       "      <th>Age</th>\n",
       "      <th>Region_Code</th>\n",
       "      <th>Occupation</th>\n",
       "      <th>Channel_Code</th>\n",
       "      <th>Vintage</th>\n",
       "      <th>Credit_Product</th>\n",
       "      <th>Avg_Account_Balance</th>\n",
       "      <th>Is_Active</th>\n",
       "      <th>Target</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>AXM2EH3R</td>\n",
       "      <td>1</td>\n",
       "      <td>43</td>\n",
       "      <td>28</td>\n",
       "      <td>1</td>\n",
       "      <td>3</td>\n",
       "      <td>26</td>\n",
       "      <td>2</td>\n",
       "      <td>1325325</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>8ETNJAUW</td>\n",
       "      <td>1</td>\n",
       "      <td>46</td>\n",
       "      <td>29</td>\n",
       "      <td>1</td>\n",
       "      <td>4</td>\n",
       "      <td>14</td>\n",
       "      <td>3</td>\n",
       "      <td>634489</td>\n",
       "      <td>2</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>VCSJTEPW</td>\n",
       "      <td>1</td>\n",
       "      <td>28</td>\n",
       "      <td>11</td>\n",
       "      <td>1</td>\n",
       "      <td>2</td>\n",
       "      <td>15</td>\n",
       "      <td>3</td>\n",
       "      <td>2215655</td>\n",
       "      <td>2</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>9EOYOOHV</td>\n",
       "      <td>2</td>\n",
       "      <td>58</td>\n",
       "      <td>7</td>\n",
       "      <td>2</td>\n",
       "      <td>3</td>\n",
       "      <td>15</td>\n",
       "      <td>2</td>\n",
       "      <td>925929</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>S4B53OKJ</td>\n",
       "      <td>2</td>\n",
       "      <td>75</td>\n",
       "      <td>9</td>\n",
       "      <td>2</td>\n",
       "      <td>3</td>\n",
       "      <td>111</td>\n",
       "      <td>3</td>\n",
       "      <td>721825</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>49995</th>\n",
       "      <td>NEWHT3FI</td>\n",
       "      <td>2</td>\n",
       "      <td>48</td>\n",
       "      <td>35</td>\n",
       "      <td>1</td>\n",
       "      <td>3</td>\n",
       "      <td>75</td>\n",
       "      <td>3</td>\n",
       "      <td>1234305</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>49996</th>\n",
       "      <td>CEAKN2CZ</td>\n",
       "      <td>1</td>\n",
       "      <td>33</td>\n",
       "      <td>13</td>\n",
       "      <td>4</td>\n",
       "      <td>2</td>\n",
       "      <td>33</td>\n",
       "      <td>3</td>\n",
       "      <td>697573</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>49997</th>\n",
       "      <td>DZXGLMDK</td>\n",
       "      <td>2</td>\n",
       "      <td>69</td>\n",
       "      <td>31</td>\n",
       "      <td>2</td>\n",
       "      <td>4</td>\n",
       "      <td>93</td>\n",
       "      <td>3</td>\n",
       "      <td>2781481</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>49998</th>\n",
       "      <td>QWNPRJHS</td>\n",
       "      <td>2</td>\n",
       "      <td>37</td>\n",
       "      <td>31</td>\n",
       "      <td>1</td>\n",
       "      <td>4</td>\n",
       "      <td>26</td>\n",
       "      <td>2</td>\n",
       "      <td>1185043</td>\n",
       "      <td>2</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>49999</th>\n",
       "      <td>CKX9NQWV</td>\n",
       "      <td>1</td>\n",
       "      <td>30</td>\n",
       "      <td>10</td>\n",
       "      <td>4</td>\n",
       "      <td>2</td>\n",
       "      <td>25</td>\n",
       "      <td>3</td>\n",
       "      <td>483884</td>\n",
       "      <td>2</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>50000 rows × 11 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "             ID  Gender  Age  Region_Code  Occupation  Channel_Code  Vintage  \\\n",
       "0      AXM2EH3R       1   43           28           1             3       26   \n",
       "1      8ETNJAUW       1   46           29           1             4       14   \n",
       "2      VCSJTEPW       1   28           11           1             2       15   \n",
       "3      9EOYOOHV       2   58            7           2             3       15   \n",
       "4      S4B53OKJ       2   75            9           2             3      111   \n",
       "...         ...     ...  ...          ...         ...           ...      ...   \n",
       "49995  NEWHT3FI       2   48           35           1             3       75   \n",
       "49996  CEAKN2CZ       1   33           13           4             2       33   \n",
       "49997  DZXGLMDK       2   69           31           2             4       93   \n",
       "49998  QWNPRJHS       2   37           31           1             4       26   \n",
       "49999  CKX9NQWV       1   30           10           4             2       25   \n",
       "\n",
       "       Credit_Product  Avg_Account_Balance  Is_Active  Target  \n",
       "0                   2              1325325          1       1  \n",
       "1                   3               634489          2       0  \n",
       "2                   3              2215655          2       0  \n",
       "3                   2               925929          1       0  \n",
       "4                   3               721825          1       0  \n",
       "...               ...                  ...        ...     ...  \n",
       "49995               3              1234305          1       0  \n",
       "49996               3               697573          1       0  \n",
       "49997               3              2781481          1       0  \n",
       "49998               2              1185043          2       0  \n",
       "49999               3               483884          2       0  \n",
       "\n",
       "[50000 rows x 11 columns]"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "test_y_pred = model.predict_proba(test[features])\n",
    "final_result = []\n",
    "for i in test_y_pred:\n",
    "    if i[0]>0.5:\n",
    "        final_result.append(0)\n",
    "    else:\n",
    "        final_result.append(1)\n",
    "test['Target'] = final_result\n",
    "test"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "id": "2136554f",
   "metadata": {},
   "outputs": [],
   "source": [
    "test[['ID','Target']].to_csv('data/submit.csv', index=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "4bc20eee",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'晨会早报': 0, '宏观研报': 1, '策略研报': 2, '行业研报': 3, '公司研报': 4, '基金研报': 5, '债券研报': 6, '金融工程': 7, '其他研报': 8, '个股研报': 9}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>label</th>\n",
       "      <th>header</th>\n",
       "      <th>title</th>\n",
       "      <th>paragraph</th>\n",
       "      <th>footer</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>仅供内部参考，请勿外传</td>\n",
       "      <td>证券研究报告 | 浙商早知道,报告日期：2022 年 11 月 09 日,重要点评</td>\n",
       "      <td>❑ 【浙商互联网  谢晨】快手（01024.HK）Q3 业绩前瞻：竞争趋缓盈利改善，Q4 或...</td>\n",
       "      <td>http://www.stocke.com.cn 1/5 请务必阅读正文之后的免责条款部分</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>0</td>\n",
       "      <td>仅供内部参考，请勿外传</td>\n",
       "      <td>中信证券研, 2023 年海外宏观与大类资产配置展望—东边日出西边雨 ,▍ 美股科技板块 2...</td>\n",
       "      <td>部 重点推荐 ,▍,崔嵘 海外宏观经济首席分析师 ,S1010517040001,宏观经济｜...</td>\n",
       "      <td>证券研究报告 具体分析内容（包括相关风险提示等）详见后文，  请务必阅读正文之后第 19 页...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>0</td>\n",
       "      <td>仅供内部参考，请勿外传</td>\n",
       "      <td>2022 年 11 月 10 日星期四,晨会纪要,【今日焦点】,以注册制为抓手提高直融比重...</td>\n",
       "      <td>党的二十大报告提出，“健全资本市场功能，提高直接融资比重。”新形势下，提高直接融资比重是资本...</td>\n",
       "      <td>请务必阅读最后一页股票评级说明和免责声明</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>0</td>\n",
       "      <td>仅供内部参考，请勿外传证券研究报告</td>\n",
       "      <td>东吴证券晨会纪要 ,东吴证券晨会纪要 2022-11-11  [Table_Tag] ,宏观...</td>\n",
       "      <td>晨会编辑  曾朵红执业证书：S0600516080001021-60199793zengdh...</td>\n",
       "      <td>请务必阅读正文之后的免责声明部分</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>0</td>\n",
       "      <td>仅供内部参考，请勿外传晨会纪要（2022/11/16）</td>\n",
       "      <td>渤海证券研究所晨会, 宏观及策略分析, 行业专题评述, 金融工程研究</td>\n",
       "      <td>崔健  022-28451618  SACNO: S1150511010016 cuijia...</td>\n",
       "      <td>请务必阅读正文之后的声明        渤海证券股份有限公司具备证券投资咨询业务资格    ...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   label                       header  \\\n",
       "0      0                  仅供内部参考，请勿外传   \n",
       "1      0                  仅供内部参考，请勿外传   \n",
       "2      0                  仅供内部参考，请勿外传   \n",
       "3      0            仅供内部参考，请勿外传证券研究报告   \n",
       "4      0  仅供内部参考，请勿外传晨会纪要（2022/11/16）   \n",
       "\n",
       "                                               title  \\\n",
       "0          证券研究报告 | 浙商早知道,报告日期：2022 年 11 月 09 日,重要点评   \n",
       "1  中信证券研, 2023 年海外宏观与大类资产配置展望—东边日出西边雨 ,▍ 美股科技板块 2...   \n",
       "2  2022 年 11 月 10 日星期四,晨会纪要,【今日焦点】,以注册制为抓手提高直融比重...   \n",
       "3  东吴证券晨会纪要 ,东吴证券晨会纪要 2022-11-11  [Table_Tag] ,宏观...   \n",
       "4              渤海证券研究所晨会, 宏观及策略分析, 行业专题评述, 金融工程研究   \n",
       "\n",
       "                                           paragraph  \\\n",
       "0  ❑ 【浙商互联网  谢晨】快手（01024.HK）Q3 业绩前瞻：竞争趋缓盈利改善，Q4 或...   \n",
       "1  部 重点推荐 ,▍,崔嵘 海外宏观经济首席分析师 ,S1010517040001,宏观经济｜...   \n",
       "2  党的二十大报告提出，“健全资本市场功能，提高直接融资比重。”新形势下，提高直接融资比重是资本...   \n",
       "3  晨会编辑  曾朵红执业证书：S0600516080001021-60199793zengdh...   \n",
       "4  崔健  022-28451618  SACNO: S1150511010016 cuijia...   \n",
       "\n",
       "                                              footer  \n",
       "0    http://www.stocke.com.cn 1/5 请务必阅读正文之后的免责条款部分    \n",
       "1  证券研究报告 具体分析内容（包括相关风险提示等）详见后文，  请务必阅读正文之后第 19 页...  \n",
       "2                               请务必阅读最后一页股票评级说明和免责声明  \n",
       "3                                 请务必阅读正文之后的免责声明部分    \n",
       "4  请务必阅读正文之后的声明        渤海证券股份有限公司具备证券投资咨询业务资格    ...  "
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import numpy as np\n",
    "import pandas as pd\n",
    "\n",
    "data = np.load('D:/迅雷下载/2023S-T2-P1-Data-v2/train_dataset.npy', allow_pickle=True)\n",
    "df = pd.DataFrame(list(data))\n",
    "print({'晨会早报': 0,'宏观研报': 1,'策略研报': 2,'行业研报': 3,'公司研报': 4,'基金研报': 5,'债券研报': 6,'金融工程': 7,'其他研报': 8,'个股研报': 9})\n",
    "df.head(5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "id": "17e29d6a",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "210.0"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df['text'] = df['header']+'[SEP]'+df['title'] \n",
    "df['len'] = df['text'].str.len()\n",
    "df['len'].quantile(q=0.95)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "3112bf74",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "4    1119\n",
       "9     989\n",
       "3     229\n",
       "1     203\n",
       "8     175\n",
       "6     142\n",
       "0     112\n",
       "2     105\n",
       "5      48\n",
       "Name: label, dtype: int64"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df['label'].value_counts()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "da882251",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "4    814\n",
       "3    159\n",
       "1    147\n",
       "6    110\n",
       "0     86\n",
       "2     78\n",
       "5     27\n",
       "Name: label, dtype: int64"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df[df['header'].str.contains('仅供内部参考')]['label'].value_counts()\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "20c74137",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'', '2022 年 11 月 15 日', '鸿路钢构 002541.SZ', '川财证券研究报告', '仅供内部参考，请勿外传公司研究/汽车与零配件/汽车中公教育（002607）公司季报点评 2022 年 11 月 13 日', '仅供内部参考，请勿外传受益核准提速，经营稳健符合预期', '仅供内部参考，请勿外传证券研究报告 | 市场策略研究2022 年 11 月 10 日', '2022 年 10 月 28 日公司研究●证券研究报告中青旅（600138.SH）', '金属新材料/有色金属', '仅供内部参考，请勿外传反转行情的三大利好', '2022 年 11 月 06 日行业研究●证券研究报告机械', '公司研究|信息技术|技术硬件与设备证券研究报告商络电子(300975)首次覆盖报告2022 年 11 月 10 日', '仅供内部参考，请勿外传证券研究报告 | 宏观经济研究 2022 年 11 月 13 日', '证券研究报告 | 点评报告 | 中药Ⅱ', '仅供内部参考，请勿外传公用事业', '雅创电子(301099) / 其他电子Ⅱ / 公司点评 / 2022.11.13', '仅供内部参考，请勿外传固定收益研究海外债市周报2022 年 11 月 08 日', '仅供内部参考，请勿外传10月进出口点评：', '仅供内部参考，请勿外传行业周报', '骄成超声(688392) / 电池 / 公司点评 / 2022.11.03 ', '仅供内部参考，请勿外传证券研究报告·公司点评报告·汽车零部件星宇股份（601799） ', '证券研究报告 | 2022年11月04日', '证券研究报告 | 公司点评2022 年 11 月 14 日', '仅供内部参考，请勿外传公司研究/机械工业/重型机械江苏国信（002608）公司公告点评2022 年 11 月 11 日', '证券研究报告重 庆啤酒 (600132 CH)', '证券研究报告 | 行业定期报告2022 年 11 月 13 日', '公司研究/金融/银行证券研究报告长沙银行（601577）公司季报点评 2022 年 11 月 01 日', '证券研究报告韦 尔股份 (603501 CH)', '证券研究报告 | 2022年11月14日', '仅供内部参考，请勿外传2022 年 11 月 02 日毛利率短期受', '[table_subject]2022年11月07日', '仅供内部参考，请勿外传证券研究报告 | 2022年11月13日无评级', '中芯国际(688981) / 半导体 / 公司点评 / 2022.11.13', '仅供内部参考，请勿外传证券研究报告/宏观周度报告', '仅供内部参考，请勿外传证券研究报告·公司点评报告·乘用车广汽集团（601238） ', '镶嵌持续低迷，待消费复苏', '2022 年 11 月 04 日公司研究评级：买入(维持)', '仅供内部参考，请勿外传证券研究报告 | 市场策略研究 2022 年 11 月 13 日', '行业报告 | 行业点评', '信息 股份有限公司。版权归华西证券所有，请勿转发。 p仅供机构投资者使用', '港股通证券研究报告江 西铜业 (358 HK/600362 CH)', '公司研究/机械工业/重型机械证券研究报告江苏国信（002608）公司公告点评2022 年 11 月 11 日', '基础建设/建筑装饰', '证券研究报告 | 点评报告 | 工程机械', '仅供内部参考，请勿外传证券研究报告/月度报告', '2022 年 11 月 05 日', '仅供内部参考，请勿外传2022 年 11 月 15 日深度研究金融工程研究研究所 ', '[Table_Stok 立c微Nam（eR0t1y 广3pT0p9e]5） EDA 行业系列报告（四）/公司深度', '2022 年 11 月 09 日产能释放顺利', '证券研究报告恒 玄科技 (688608 CH)', '仅供内部参考，请勿外传公司研究|信息技术|软件与服务宝通科技(300031)公司点评报告', '仅供机构投资者使用证券研究报告|公司深度研究报告[Table2_0D2a2t e年] 11 月 12 日', '仅供内部参考，请勿外传化工', '仅供内部参考，请勿外传公司深度报告', '仅供内部参考，请勿外传公司研究/信息设备/电子元器件立讯精密（002475）公司季报点评2022 年 11 月 06 日', '证券研究报告 | 首次覆盖报告2022 年 11 月 04 日', '仅供内部参考，请勿外传中国电建(601669)[Table_Title] ', '公司研究/房地产/房地产证券研究报告保利发展（600048）公司季报点评2022 年 11 月 01 日', '仅供内部参考，请勿外传行业研究/机械工业行业周报', '奥士康(002913) / 元件 / 公司点评 / 2022.11.08', '港股通证券研究报告宝 胜国际 (3813 HK)', '仅供内部参考，请勿外传每日早报最新研究与资讯 ', '仅供内部参考，请勿外传证券研究报告 | 首次覆盖报告2022 年 11 月 13 日', '公司研究/信息服务/信息科技服务 证券研究报告启明星辰（002439）公司跟踪报告2022 年 11 月 14 日', '仅供内部参考，请勿外传泰 恩 康(301263.SZ)', '证券研究报告·公司点评报告·风电设备三一重能（688349） ', '仅供内部参考，请勿外传策略定期研究2022 年 11 月 13 日', '仅供内部参考，请勿外传反转第一波行情行业表现比较', '2022 年 11 月 3 日', '仅供内部参考 ，请勿外传债券研究 ', '仅供内部参考，请勿外传证券研究报告 | 固定收益研究 2022 年 11 月 09 日', '仅供内部参考，请勿外传公司研究/信息设备/电子元器件炬光科技（688167）公司季报点评2022 年 11 月 15 日投资评级 优于大市', '仅供内部参考，请勿外传证券研究报告宏 观', 'Equity Research·Company Research·General Equipment ', '产能逐步释放，盈利能力持续改善', '公司研究|信息技术|软件与服务证券研究报告国联股份(603613)公司点评报告2022 年 11 月 03 日', '风华高科(000636) / 元件 / 公司点评 / 2022.10.31', '仅供内部参考，请勿外传农产品加工Ⅱ', '证券研究报告 | 公司点评报告2022 年 11 月 14 日', '证券研究报告发送给东方财富信息股份有限公司。版权归华西证券所有，请勿转发。 p', '仅供内部参考，请勿外传权威报告解读', '仅供内部参考，请勿外传证券研究报告医 药健康', '证券研究报告多 伦科技 (603528 CH)', '仅供内部参考，请勿外传2022 年 11 月 1 日公司研究评级：买入(维持)', '公司研究报告巨化股份（600160）', '仅供内部参考，请勿外传电子', '2022 年 11 月 08 日公司研究评级：增持(首次覆盖)', '仅供内部参考，请勿外传农林牧渔', '2022 年 10 月 27 日公司研究●证券研究报告天山铝业（002532.SZ）', '仅供内部参考，请勿外传证券研究报告 | 2022年09月19日', '仅供内部参考，请勿外传2022 年 11 月 08 日公司研究评级：买入(维持)', '仅供内部参考，请勿外传＃industryId＃食品饮料', '2022 年 11 月 11 日公司研究●证券研究报告', 'EQUITY RESEARCH ', '仅供内部参考，请勿外传晨会纪要（2022/11/14）', '仅供内部参考，请勿外传基金研究', '仅供内部参考，请勿外传证券研究报告科 技', '公司研究/信息设备/电子设备与仪器证券研究报告四方光电（688665）公司季报点评 2022 年 11 月 05 日', '证券研究报告 | 宏观定期报告2022 年 11 月 10 日', '电气设备', '2022 年 11 月 03 日公司研究●证券研究报告华友钴业（603799.SH）', '广汽集团 601238.SH', '证券研究报告·公司点评报告·乘用车长城汽车（601633） ', '公司研究|信息技术|软件与服务证券研究报告光庭信息(301221)公司点评报告2022 年 10 月 31 日', '三棵树(603737) / 装修建材 / 公司点评 / 2022.10.30', '证券研究报告良信股份(002706.SZ)', '公司研究/家用电器与器具/家用电器证券研究报告科沃斯（603486）公司季报点评 2022 年 11 月 05 日', '＃industryId＃煤炭开采', '证券研究报告·公司点评报告·软件开发远光软件（002063） ', '仅供内部参考 ，请勿外传公司研究 ', '仅供内部参考，请勿外传公司研究/食品/食品加工千禾味业（603027）公司季报点评2022 年 11 月 01 日', '仅供内部参考，请勿外传公司研究＃industryId＃通信', '港股通证券研究报告海 信家电 (921 HK/000921 CH) ', '银行', '[Table_Title] 核心板块逆势稳增，新业务开拓进展顺利', 'C o m p a n yU p d a t eC h i n a  R e s e a r c h  D e p t .', 'C o m p a n yU p d a t eC h i n a R e s e a r c h  D e p t .', '仅供内部参考，请勿外传证券研究报告 | 2022年10月10日', '共创草坪（605099.SH） ', '仅供内部参考，请勿外传家家悦(603708)一般零售/商贸零售[Table_Title] ', '仅供内部参考，请勿外传收入边际加速，有效实现降本控费', '仅供内部参考，请勿外传2022 年 11 月 12 日专题研究宏观研究研究所 ', 'EQUITY RESEARCH', '仅供内部参考，请勿外传2022 年 11 月 10 日', 'Equity Research·Company Research·General EquipmentOKE Precision Cutting Tools（688308）[ OTabbleaianin] t_Med the military qualification certificati', '仅供内部参考，请勿外传稀有金属', '证券研究报告 | 2022年11月13日', '公司研究/食品证券研究报告统一企业中国（0220.HK）研究报告2022 年 11 月 14 日[Table_InvestInfo] 投资评级 优于大市', '仅供内部参考，请勿外传营收维持稳定增长，研发前臵投入完成', '海亮股份(002203) / 工业金属 / 公司点评 / 2022.11.08 ', '家用电器/小家电持续提升 ', '2022 年 11 月 4 日', '仅供内部参考，请勿外传2022 年 11 月 01 日', '公司研究/医药与健康护理/化学制药证券研究报告凯莱英（002821）公司季报点评2022 年 11 月 08 日投资评级 优于大市', '畜牧业', '固定收益 | 固定收益点评', '温氏股份 300498.SZ', '证券研究报告', '2022 年 10 月 28 日公司研究●证券研究报告利元亨（688499.SH）', '仅供内部参考，请勿外传互联网电商', '公司研究/信息服务/软件证券研究报告华测导航（300627）公司季报点评2022 年 11 月 07 日', '仅供内部参考，请勿外传证券研究报告·公司点评报告·化妆品上海家化（600315） ', '证券研究报告 COMPANY RESEARCH', '仅供内部参考，请勿外传2022 年 11 月 13 日公司研究评级：买入(首次覆盖)', '仅供内部参考，请勿外传公司研究/金融/银行工商银行（601398）公司季报点评2022 年 11 月 01 日', '仅供内部参考，请勿外传 证券研究报告大 华股份 (002236 CH)', '公司研究/传媒证券研究报告皖新传媒（601801）公司季报点评 2022 年 11 月 07 日', '长安汽车 000625.SZ', '仅供内部参考，请勿外传公司研究/信息设备/半导体产品与半导体设备鼎阳科技（688112）公司季报点评2022 年 11 月 08 日', '公司研究/机械工业/电气设备证券研究报告梦网科技（002123）公司季报点评2022 年 10 月 30 日', '证券研究报告 | 季报点评2022 年 11 月 07 日', '塑料及制品', '港股通证券研究报告中 芯国际 (981 HK)', '公司研究/化工/基础化工材料制品证券研究报告中简科技（300777）公司季报点评2022 年 11 月 07 日', '仅供内部参考，请勿外传基础建设/建筑装饰', '证券研究报告 | 宏观分析报告2022 年 11 月 13 日', '仅供内部参考，请勿外传新三板公司研究报告', '仅供内部参考，请勿外传 证券研究报告森 马服饰 (002563 CH)', '欧科亿(688308) / 通用设备 / 公司点评 / 2022.11.05 ', '证券研究报告 | 固定收益研究2022 年 11 月 6 日', '仅供内部参考，请勿外传北交所策略专题报告', '行业报告 | 行业研究周报', '基金研究 | 基金专题报告', '2022 年 10 月 28 日公司研究●证券研究报告大全能源（688303.SH）', '仅供内部参考，请勿外传晨会焦点', '仅供内部参考，请勿外传策略周报、月报研究报告2022 年 11 月 07 日金的交易能力？ ', '仅供内部参考，请勿外传2022 年 11 月 11 日证券研究报告|策略研究|策略专题', '公司研 究', '仅供内部参考，请勿外传2022 年 11 月 04 日', '证券研究报告 | 公司简评报告2022 年 11 月 06 日', '公司研究/信息服务/互联网软件与服务证券研究报告恺英网络（002517）公司季报点评2022 年 11 月 01 日增 28%，', '公司研究/房地产/房地产证券研究报告金地集团（600383）公司季报点评2022 年 10 月 29 日', '仅供内部参考，请勿外传中 泰 证 券 研 究 所专 业 ｜ 领 先 ｜ 深 度 ｜ 诚 信 ', '仅供内部参考，请勿外传2022 年 11 月 08 日公司研究评级：增持(首次覆盖)', '分众传媒(002027) / 广告营销 / 公司点评 / 2022.11.01', '仅供内部参考，请勿外传', '仅供内部参考，请勿外行业研 传究 证 券 研 究 报 告', '通用设备成长空间', '公司研究/信息设备/电子元器件证券研究报告兴森科技（002436）公司季报点评2022 年 11 月 04 日', '仅供内部参考，请勿外传家用电器/厨卫电器表现亮眼 ', '证券研究报告金域医学(603882.SH)', '[2T0ab2l2e_年Ma1i1n]月 15日', '仅供内部参考，请勿外传证券研究报告 | 2022年11月04日', '仅供内部参考，请勿外传 证券研究报告金 山办公 (688111 CH)', '仅供内部参考，请勿外传证券研究报告·海外公司点评·汽车(HS)蔚来-SW（09866.HK） ', '研2022 年 11 月 13 日', '仅供内部参考，请勿外传[Table_Title] 股强债弱，关注政策变化', '14 Nov 2022CMB International Global Markets | Equity Research | Company Update ', '证券研究报告 | 宏观分析报告2022 年 11 月 10 日', '仅供内部参考，请勿外传晨20会2 2.11.16', '仅供内部参考，请勿外传业绩表现稳健，布局虚拟电厂业务', '仅供内部参考，请勿外传证券研究报告电 力设备与新能源', '2[T0ab2l2e_年Ma1i1n]月 15日', '仅供内部参考，请勿外传证券研究报告 | 市场策略研究 2022 年 11 月 05 日', '证券研究报告 | 公司点评报告2022 年 11 月 04 日', '公司研究白酒', '2022 年 11 月 06 日行业研究●证券研究报告家电', 'y 疫情影响业绩承压，静待存货去化顺畅', '公司研究/信息设备/通信设备证券研究报告移远通信（603236）公司季报点评2022 年 11 月 04 日', '仅供内部参考，请勿外传研2022 年 11 月 06 日', '公司研究/房地产/房地产证券研究报告新城控股（601155）公司季报点评2022 年 10 月 31 日', '更新报告', '证券研究报告安 井食品 (603345 CH)', '仅供内部参考，请勿外传经济数据点评', '美高梅中国控股有限公司（2282 HK） | 2022 年 11 月 10 日 ', '三七互娱(002555) / 游戏Ⅱ / 公司点评 / 2022.11.01  ', '仅供内部参考，请勿外传证券研究报告·公司研究·通用设备欧科亿（688308） [Table_Main]', '证券研究报告 | 公司研究2022 年 11 月 09 日', '仅供内部参考，请勿外传证券研究报告化 妆品', '小米集团-W 01810.HK', '天宇股份(300702) / 化学制药 / 公司季报点评 / 2022.10.27', '仅供内部参考，请勿外传证券研究报告/宏观策略专题报告', '证券研究报告 | 深度报告 | 消费电子', '公司研究/信息设备/半导体产品与半导体设备证券研究报告闻泰科技（600745）公司季报点评 2022 年 11 月 09 日', '2022 年 10 月 31 日公司研究●证券研究报告周大生（002867.SZ）', '仅供内部参考，请勿外传固定收益研究', '传媒', '兆易创新 603986.SH', '中国财险(02328):重申买入评级,目标价升至10.84港元', '证券研究报告 | 公司首次覆盖 西子洁能(002534.SZ)2022 年 11 月 14 日', '仅供内部参考，请勿外传2022 年 11 月 02 日公司研究评级：买入(维持)', '公司研究/传媒证券研究报告昆仑万维（300418）公司季报点评2022 年 11 月 04 日', '仅供内部参考，请勿外传期货研究报告|宏观大类日报 2022/11/11', '[table_subject] 2022年11月15日', '中[Ta炬ble高_Sto新ckN（am6eR0p0tT8yp7e2]）  ', '仅供内部参考，请勿外传[Table_Info1] 新国都(300130)[Table_Title] ', '证券研究报告·公司点评报告·工程机械三一重工（600031） ', '证券研究报告万 达电影 (002739 CH)', '2022 年 11 月 6 日', '仅供内部参考，请勿外传——东方雨虹（002271.SZ）首次覆盖报告 建筑材料/装修建材', '仅供内部参考，请勿外传2022 年 11 月 12 日', '证券研究报告 | 公司点评 药康生物(688046.SH)2022 年 10 月 31 日', '证券研究报告亿纬锂能(300014.SZ)', '仅供内部参考，请勿外传汽车零部件/汽车', '仅供内部参考，请勿外传2022 年 10 月 25 日', '仅供内部参考，请勿外传证券研究报告·公司深度研究·专用设备道森股份（603800） ', '固收收益 | 固定收益定期', '公司研究＃industryId＃ 传媒', '证券研究报告 | 固定收益研究2022 年 11 月 11 日', '[table_research] 公司点评报告·轻工行业2022.10.28', '公司报告 | 公司专题研究', '仅供内部参考，请勿外传公司研 究 证 券 研 究 报 告', '证券研究报告 | 行业定期报告2022 年 11 月 05 日', '2022 年 10 月 31 日公司研究●证券研究报告志邦家居（603801.SH）', '2022 年 11 月 12 日公司研究评级：买入(维持)', '证券研究报告 | 2022年10月25日', '港股通证券研究报告信 义玻璃 (868 HK)', '仅供内部参考，请勿外传公司研 究 ', '仅供内部参考，勿外公 请传司研究 ', '银河娱乐集团（27） 更新报告', '证券研究报告 | 首次覆盖报告2022 年 11 月 03 日', '公司研究/建筑工程证券研究报告上海港湾（605598）公司季报点评2022 年 11 月 01 日', '仅供内部参考，请勿外传晨会纪要（2022/11/10）', '证券研究报告隆 华科技 (300263 CH)', '计算机 / 行业投资策略报告 / 2022.11.13三季报总结：破晓已至，布局三条主线', '淡季凸显盈利韧性，看好公司高成长性', '仅供内部参考，请勿外传2022 年 11 月 09 日专题研究固定收益研究', '仅供内部参考，请勿外传2022 年 11 月 06 日专题研究策略研究', '证券研究报告 | 公司点评报告2022 年 11 月 06 日', '仅供内部参考，请勿外传公司研究/旅游服务业/酒店、餐馆百胜中国-S（9987）公司季报点评2022 年 11 月 7 日', '仅供内部参考，请勿外传＃industryId＃ 火电', '仅供内部参考，请勿外传固定收益研究可转债发行报告', '证券研究报告 | 公司首次覆盖  厦门钨业(600549.SH)2022 年 11 月 04 日', '证券研究报告·公司点评报告·乘用车', '盈利能力持续改善，下游需求持续旺盛，业绩拐点已现', '仅供内部参考，请勿外传上市公司 社会服务', '仅供内部参考，请勿外传证券研究报告·公司研究·通用设备 证券研究报告·公司研究·通用设备  华锐精密（688059） ', '仅供内部参考，请勿外传公司研究/信息设备/电子元器件永新光学（603297）公司季报点评2022 年 11 月 07 日款政策，', '证券研究报告 | 点评报告 | 电网设备', '仅供内部参考，请勿外传固定收益专题2022 年 11 月 10 日', '证券研究报告 | 公司点评2022 年 10 月 28 日', '证券研究报告 | 公司点评报告2022 年 11 月 01 日', '公司研究/家用电器与器具证券研究报告光峰科技（688007）公司研究报告2022 年 11 月 09 日', '仅供内部参考请外债研 ，勿传券究 证 券 研 究 报 告', '农产品加工Ⅱ', '2022 年 10 月 31 日', '仅供内部参考，请勿外传通胀数据简析', '[Table_Title] 外销致收入短期承压，利润端稳步提升', '证券研究报告·行业跟踪周报·环保', '2022 年 11 月 09 日公司研究评级：买入(维持)', '中科创达 300496.SZ', '证券研究报告 | 行业点评报告2022 年 11 月 06 日', '2022 年 11 月 13 日聚焦三大核心', '消费者服务行业', '基础化工/化学制品可期 ', '仅供内部参考，请勿外传证券研究报告', '仅供内部参考，请勿外传公司研证券研究报告究＃industryId＃乘用车', '仅供内部参考，请勿外传周大生(002867)[Table_Title] ', '证券研究报告 | 策略研究2022 年 11 月 13 日', '2022 年 10 月 30 日公司研究●证券研究报告金牌厨柜（603180.SH）', '仅供内部参考，请勿外传全球宏观周报', '兴[Ta发ble集_Sto团ckN（am6eR0p0tT1yp4e1]）  ', '拓荆科技-U 688072.SH', '仅供内部参考，请勿外传开工率指标下行', '仅供内部参考，请勿外传点评报告', '公司研究/信息服务/软件证券研究报告用友网络（600588）公司季报点评2022 年 10 月 31 日', '中信出版 300788.SZ', '仅供内部参考，请勿外传2022 年 11 月 14 日流动性周报', '仅供内部参考，请勿外传个股推荐', '证券研究报告 | 固定收益研究2022 年 11 月 14 日', '证券研究报告·公司研究·电池宁德时代（300750） ', '仅供内部参考，请勿外传固收定期研究2022 年 11 月 06 日', '证券研究报告大 华股份 (002236 CH)', '仅供内部参考，请勿外传证券研究报告·行业点评报告·银行', '仅供内部参考，请勿外传晨会纪要（2022/11/11）', '仅供内部参考，请勿外传撰写 日期：2022 年 11 月 11 日', '仅供内部参考，请勿外传证券研究报告·公司研究·电池宁德时代（300750） ', '港股公司报告 | 公司点评', '公司研究/食品/食品制造证券研究报告妙可蓝多（600882）公司季报点评2022 年 11 月 05 日', '仅供内部参考，请勿外传证券研究报告传 媒', '2022 年 11 月 07 日公司研究评级：增持(首次覆盖)', 'Q3 需求疲软&能源成本上升，短期经营承压', '证券研究报告|公司深度报告2022 年 10 月 20 日', '其他军工Ⅱ', '证券研究报告粤高速 A (000429 CH)', '   川财证券研究报告', '证券研究报告 | 宏观分析报告2022 年 11 月 15 日', '证券研究报告 | 公司点评 泰坦科技(688133.SH)2022 年 10 月 28 日', '2022 年 11 月 13 日', '仅供内部参考，请勿外传[table_reportdate] 晨会报告2022 年 11 月 11 日', '证券研究报告 | 2022年10月27日', '医药', '仅供内部参考，请勿外传证券研究报告·公司点评报告·专业服务华测检测（300012） ', '＃industryId＃ 火电', '仅供内部参考，请勿外传公司研究/化工/基础化工材料制品 元利科技（603217）公司研究报告 2022 年 11 月 08 日', '仅供内部参考，请勿外传环保/环保设备Ⅱ', '证券研究报告新城控股 (601155 CH)', '证券研究报告 | 公司深度报告2022 年 11 月 10 日', '行业报告 | 行业研究周报 ', '仅供内部参考，请勿外传行业研究/建材/建筑材料行业跟踪报告', '证券研究报告 | 公司点评 江苏吴中(600200.SH)2022 年 11 月 04 日', '[Table_Title] 百普赛斯：常规业务快速增长，海外业绩增势强劲 ', '仅供内部参考，请勿外传家用电器/小家电获期 ', '公司研究/信息设备/通信设备证券研究报告亨通光电（600487）公司季报点评2022 年 11 月 05 日', '隆[Ta鑫ble通_Sto用ckN（am6eR0p3tT7yp6e6]） ', '仅供内部参考，请勿外传通用设备/机械设备', '仅供内部参考，请勿外传2022 年 11 月 09 日产能释放顺利', '仅供内部参考，请勿外传证券研究报告 | 首次覆盖报告2022 年 11 月 04 日', '仅供内部参考，请勿外传＃industryId＃ 汽车', '行业主题基金专题', '仅供内部参考，请勿外传2022 年 11 月 1 日', '证券研究报告|行业深度报告2022 年 11 月 08 日', '公司报告 | 公司点评', '仅供内部参考，请勿外传证券研究报告 | 2022年11月15日', '仅供内部参考，请勿外传2022 年 11 月 01 日业绩超预期，', '仅供内部参考，请勿外传2022 年 11 月 13 日公司研究评级：买入(维持)', '研2022 年 11 月 11 日', 'C o m p a n yU p d a t eC h i n a  R e s e a r c h  D e p t . ', '仅供内部参考，请勿外传策略研究策略周报', '汽车/汽车整车', '仅供内部参考，请勿外传浙江仙通(603239)', '证券研究报告 | 点评报告 | 文娱用品', '精测电子(300567) / 通用设备 / 公司点评 / 2022.10.31三季度业绩超预期，新能源、', '港股通证券研究报告华 虹半导体 (1347 HK)', '公司研究/信息设备/半导体产品与半导体设备证券研究报告长光华芯（688048）公司季报点评2022 年 11 月 07 日', '公司研究/汽车与零配件/汽车证券研究报告中公教育（002607）公司季报点评2022 年 11 月 13 日', '证券研究报告思 瑞浦 (688536 CH)', '证券研究报告·公司点评报告·家电零部件Ⅱ德业股份（605117） ', '公司研究/医药与健康护理/生物科技证券研究报告泰格医药（300347）公司季报点评2022 年 11 月 04 日', '仅供内部参考，请勿外传食品饮料', '证券研究报告拓邦股份(002139.SZ)', '仅供内部参考，请勿外传证券研究报告 | 2022年11月08日', '仅供内部参考，请勿外传 证券研究报告北 方华创 (002371 CH)', '仅供内部参考，请勿外传证券研究报告 | 2022年11月09日', '仅供内部参考，请勿外传2022 年 11 月 09 日', '公司研究/建材/建筑材料证券研究报告洛阳玻璃（600876）公司季报点评2022 年 11 月 04 日', '证券研究报告森 马服饰 (002563 CH)', '公司研究/信息设备证券研究报告杰普特（688025）公司季报点评2022 年 11 月 07 日', '仅供 内部参考，请勿外传公司研究 ', '华特气体(688268) / 电子化学品Ⅱ / 公司点评 / 2022.11.13', '仅供内部参考，请勿外传白色家电Ⅱ', '2022 年 11 月 11 日', '仅供内部参考，请勿外传传媒', '2022 年 11 月 12 日公司研究评级：买入(维持)研究所 ', '[table_subject] 2022年11月11日', '详解工商银行 2022 年三季报：净利润增速平稳+5.6%，资产质量稳健', '仅供内部参考，请勿外传[table_research] 策略报告●专题研究', '证券研究报告 | 固定收益研究2022 年 11 月 7 日', '仅供内部参考，请勿外传国防军工', '证券研究报告 | 金融工程2022 年 11 月 15 日', '证券研究报告·公司点评报告·乘用车上汽集团（600104） ', '汽车行业', '港股通证券研究报告小 米集团-W (1810 HK)', '仅供内部参考，请勿外传永艺股份(603600)', '仅供内部参考，请勿外传2022 年 11 月 4 日君实生物（1877.HK', '公司研究/信息设备/电子元器件证券研究报告立讯精密（002475）公司季报点评2022 年 11 月 06 日', '公仅供司内研部参究考 |， 首请勿次外报传告富士莱 301258.SZ', '仅供内部参考，请勿外传公司研究/造纸轻工/轻工制造 爱玛科技（603529）公司深度报告2022 年 11 月 12 日投资评级 优于大市', '公司研究＃industryId＃管材', '仅供内部参考，请勿外传用友网络(600588.SH)2022 年 11 月 07 日稳健，投入加码把', '仅供内部参考，请勿外传酒店餐饮 / 行业投资策略周报 / 2022.11.08 需求持续修复', '证券研究报告 | 公司深度报告2022 年 11 月 08 日', '原材料降价红利释放，业绩环比大幅改善', '仅供内部参考，请勿外传证券研究报告固收', '仅供内部参考，请勿外传公司研究/机械工业/其他专用机械 捷佳伟创（300724）公司季报点评2022 年 11 月 08 日', '仅供 内部参考，请勿外传行业研究 ', '计算机行业 ', '仅供内部参考，请勿外传证券研究报告·公司点评报告·地面兵装Ⅱ中兵红箭（000519） ', '翔宇医疗(688626) / 医疗器械 / 公司点评 / 2022.11.03 ', '证券研究报告 | 点评报告 | 通信服务', '公司点评报告', '中药生产', '证券研究报告阳 光电源 (300274 CH)', '达仁堂(600329) / 医药生物 / 公司点评 / 2022.11.02 ', '仅供内部参考，请勿外传证券研究报告 | 2022 年 11 月 16 日', '2022 年 10 月 31 日公司研究●证券研究报告道森股份（603800.SH）', '仅供内部参考，请勿外传2022 年 11 月 06 日', '仅供内部参考，请勿外传证券研究报告 | 2022年11月07日', '证券研究报告·公司点评报告·电池振华新材（688707） ', '仅供内部参考，请勿外传2022 年 10 月 27 日', '沃尔德(688028) / 通用设备 / 公司深度研究报告 / 2022.11.13', '仅供内部参考，请勿外传公司快报/霍莱沃公司快报 ', '仅供内部参考，请勿外传[Table_IndNm] 固a定eRp收tTy益pe2点评报告', '证券研究报告 | 公司点评报告2022 年 11 月 11 日', '仅供内部参考，请勿外传宏观经济金融展望', '10 Nov 2022', '2022 年 11 月 14 日公司研究●证券研究报告', '2022 年 10 月 30 日公司研究●证券研究报告海油工程（600583.SH）', '证券研究报告 | 公司点评 匠心家居(301061.SZ)2022 年 10 月 29 日', '仅供内部参考，请勿外传策略研究策略点评报告', '仅供内部参考 ，请勿外传债券研究 证 券 研 究 报 告', '仅供内部参考，请勿外传2022 年 11 月 04 日ODM 业务承压', '[2T0ab2l2e_年Ma1i1n]月 12日', '仅供内部参考，请勿外传2022 年 11 月 08 日', '仅供内部参考，请勿外传2022 年 11 月 04 日公司研究评级：买入(维持)', '仅供内部参考，请勿外传 证券研究报告风 华高科 (000636 CH)', '仅供内部参考，请勿外传行业研究/交通运输行业周报', '应流股份(603308) / 通用设备 / 公司点评 / 2022.11.10 ', '仅供内部参考，请勿外传投资策略 | 定期报告', '仅供内部参考，请勿外传固收周报', '证券研究报告 | 基金研究（公募） 2022 年 11 月 14 日', '仅供内部参考，请勿外传公司研究/食品/食品加工安琪酵母（600298）公司季报点评2022 年 10 月 27 日', '公司研究/建筑工程/建筑证券研究报告中国中铁（601390）公司季报点评2022 年 10 月 30 日', '仅供内部参考，请勿外传商贸零售 / 行业专题报告 / 2022.11.15', '2022 年 11 月 06 日公司研究评级：买入(维持)', '证券研究报告·公司深度研究·专用设备道森股份（603800） ', '仅供内部参考，请勿外传2022 年 11 月 01 日公司研究评级：买入(维持)', '仅供内部参考，请勿外传 证券研究报告东 软集团 (600718 CH)', '仅供内部参考，请勿外传证券研究报告·固定收益·固收点评', '2022 年 11 月 04 日公司研究评级：增持(维持)', '仅供内部参考，请勿外传公司研究/信息服务/软件朗新科技（300682）公司跟踪报告2022 年 11 月 15 日', '药[Ta康ble_生Sto物ckN（ame6R8pt8T0yp4e]6）', '仅供内部参考，请勿外传社le融_S增um速ma见ry底] 了么', '仅供内部参考，请勿外传2022 年 11 月 7 日', '阳光诺和 688621.SH', '仅供内部参考，请勿外传公司研究|建筑装饰|专业工程圣晖集成(603163)深度报告', '研究报告 Research Report ', '[爱Tab le施_St oc德kN（am0eR0p2tT4yp1e6]）公司研究/公司点评', '2022 年 11 月 02 日公司研究评级：未评级', '证券研究报告｜首次覆盖｜互联网电商', '中科创达(300496) / IT 服务Ⅱ / 公司点评 / 2022.11.14  ', '仅供内部参考，请勿外传2022 年 11 月 15 日行业研究评级：推荐(维持)', '药明康德(02359):维持增持评级,目标价177港元', '仅供内部参考，请勿外传证券研究报告·行业点评报告·工程机械', '电子/半导体', '仅供内部参考，请勿外传农林牧渔/饲料', '证券研究报告 | 季报点评2022 年 10 月 28 日', '黄山旅游(600054) / 旅游及景区 / 公司点评 / 2022.10.31', '润丰股份 301035.SZ', '仅供内部参考，请勿外传公司研究＃industryId＃ 传媒', '仅供内部参考，请勿外传吉比特(603444)[Table_Title] ', '仅供内部参考，请勿外传证券研究报告·公司研究·半导体设备富创精密（688409） ', '[table_subject] 2022年11月14日', '港股通证券研究报告万 科 A (2202 HK/000002 CH)', '2022 年 11 月 12 日', '房地产/房地产开发', '仅供内部参考，请勿外传2022 年 11 月 15 日回购凝聚人心', '证券研究报告·公司点评报告·工业金属嘉元科技（688388） ', '＃industryId＃光伏设备', '公司点评●', '2022 年 11 月 02 日公司研究●证券研究报告福斯特（603806.SH）', '业绩超预期，盈利能力持续改善', '仅供内部参考，请勿外传杭州银行(600926)城商行Ⅱ/银行6 [Table_Invest] ', '证券研究报告·公司点评报告·光伏设备中信博（688408） ', '公司研究/信息设备/半导体产品与半导体设备证券研究报告中微公司（688012）公司季报点评2022 年 10 月 31 日', '仅供内部参考，请勿外传[Table_Message] 2022-11 -13看好/维持', '仅供内部参考，请勿外传2022 年 11 月 15 日公司研究评级：买入(首次覆盖)', '证券研究报告 | 2022年11月07日', '[Table_Title] Q3 业绩承压，毛利率有所修复', '公司研究/医药与健康护理/化学制药证券研究报告济川药业（600566）公司公告点评 2022 年 11 月 10 日', '2022 年 11 月 13 日公司研究评级：买入(首次覆盖)研究所 ', '仅供内部参考，请勿外传美容护理/化妆品', '证券研究报告 | 2022年11月03日', '仅供内部参考，请勿外传晨会纪要（2022/11/15）', '公司研究/建材/建筑材料证券研究报告垒知集团（002398）公司研究报告2022 年 11 月 06 日', '证券研究报告 | 2022年10月28日', '仅供内部参考，请勿外传畜牧业', '仅供内部参考，请勿外传证券研究报告·公司点评报告·家居用品喜临门（603008） ', '仅供内部参考，请勿外传2022 年 11 月 13 日专题研究', '仅供内部参考，请勿外传2022 年 11 月 12 日公司研究评级：买入(维持)研究所 ', '仅供内部参考，公研 请勿外传司究 证 券 研 究 报 告', '仅供内部参考，请勿外传2022 年 11 月 9 日', '公司深度报告', '公司研究|金融|多元金融证券研究报告东方财富(300059)公司点评报告2022 年 10 月 29 日', '业绩短期承压，长期势头仍足', '仅供内部参考，请勿外传证券研究报告·公司研究·电池恩捷股份（002812） ', '仅供内部参考，请勿外传行业研究/建筑工程行业周报', '仅供内部参考，请勿外传证券研究报告 | 宏观经济研究', '仅供内部参考，请勿外传证券研究报告·公司深度研究·特钢Ⅱ广大特材（688186） ', '仅供内部参考，请勿外传 证券研究报告石 基信息 (002153 CH)', '公司研究/建材/建筑产品证券研究报告伟星新材（002372）公司季报点评2022 年 10 月 29 日', '公司研究/建筑工程/建筑证券研究报告中国交建（601800）公司季报点评2022 年 11 月 01 日', '贵金属', '仅供内部参考，请勿外传公司研究新能源发电', '公司研究/建筑工程/建筑证券研究报告华阳国际（002949）公司季报点评2022 年 10 月 30 日', '仅供内部参考，请勿外传期货研究报告|宏观大类日报 2022/11/15', '科新机电(300092) / 通用设备 / 公司点评 / 2022.11.12 ', '仅供内部参考，请勿外传证券研究报告 | 2022年11月11日', '公司研究/建筑工程证券研究报告中国能建（601868）公司季报点评2022 年 10 月 30 日', '公司研究/信息设备/电子元器件证券研究报告三安光电（600703）公司公告点评2022 年 11 月 10 日', '公司研究/金融/券商证券研究报告兴业证券（601377）公司季报点评2022 年 11 月 01 日', '仅供内部参考，请勿外传中泰化工周度观点 22W44： ', '仅供内部参考，请勿外传固定收益研究固定收益专题报告', '仅供内部参考，请勿外传 证券研究报告万 达电影 (002739 CH)', '仅供内部参考，请勿外传公司研究|医疗保健|医疗保健设备与服 务', '公司研究/信息设备/电子元器件证券研究报告韦尔股份（603501）公司季报点评2022 年 11 月 07 日', '仅供内部参考，请勿外传晨会纪要（2022/11/16）', '金宏气体(688106) / 电子化学品Ⅱ / 公司点评 / 2022.11.13 ', '证券研究报告 | 公司点评 德赛西威(002920.SZ)2022 年 11 月 07 日盈利表现承压，', '仅供内部参考，请勿外传公司研究/医药与健康护理/化学制药济川药业（600566）公司公告点评 2022 年 11 月 10 日', '仅供内部参考，请勿外传宏观研 究 证 券 研 究 报 告', '2022 年 11 月 07 日', '仅供内部参考，请勿外传公司点评报告', '证券研究报告兆 易创新 (603986 CH)', '证券研究报告 | 季报点评2022 年 10 月 30 日', '公司研究＃industryId＃煤炭开采', '仅供内部参考，请勿外传证券研究报告·公司点评报告·有色金属包钢股份（600010） ', '证券研究报告 | 点评报告 | 光伏设备', '非银金融/保险Ⅱ', '2022 年 11 月 01 日公司研究●证券研究报告天赐材料（002709.SZ）', '公司研究/信息设备/电子元器件证券研究报告法拉电子（600563）公司季报点评2022 年 11 月 04 日', '公司研究/信息设备/半导体产品与半导体设备证券研究报告盛美上海（688082）公司季报点评2022 年 10 月 30 日', '仅供内部参考，请勿外传00[Table_Messag2e0]2 2-11- 06看好/维持', '仅供内部参考，请勿外传证券研究报告·固定收益·固收深度报告固收深度报告 20221114', '仅供内部参考，请勿外传2022 年 11 月 7 日中国中免（1880.HK） ', '[Table_Message]2 022-11-06公司点评报告买入/维持', '仅供内部参考，请勿外传2022 年 11 月 6 日', '万[Ta润ble股_Sto份ckN（am0eR0p2tT6yp4e3]） ', '仅供内部参考，', '证券研究报告 | 季报点评2022 年 11 月 05 日', '证券研究报告·公司点评报告·汽车零部件中鼎股份（000887） ', '仅供内部参考，请勿外传策略研 究定增市场周报', '仅供内部参考，请勿外传索通发展（603612.SH） ', '证券研究报告 COMPANY RESEARCHBuy', '银河娱乐集团有限公司（27 HK） | 2022 年 11 月 11 日', '司 仅供内部参考，请勿外传食品饮料', '[Table_Message]2 022-11-08公司点评报告增持/维持', '海亮股份(002203) / 工业金属 / 公司点评 / 2022.11.08', '仅供内部参考，请勿外传证券研究报告 | 市场策略研究 2022 年 11 月 06 日', '仅供内部参考，请勿外传2022 年 11 月 01 日公司研究评级：买入(维持)研究所 ', '仅供内部参考，请勿外传证券研究报告策 略', '惠[Ta泰ble医_Sto疗ckN（am6eR8p8tT6yp1e7]） ', '仅供内部参考，请勿外传公司研究＃industryId＃ 建筑装饰', '仅供内部参考，请勿外传 证券研究报告正 海生物 (300653 CH)', '通用设备/机械设备', '仅供内部参考，请勿外传证券研究报告 | 市场策略研究 ', '电力设备及新能源2022 年 11 月 15 日', '证券研究报告 | 公司点评报告2022 年 11 月 07 日', '证券研究报告城 发环境 (000885 CH)', '仅供内部参考，请勿外传证券研究报告·公司点评报告·光伏设备迈为股份（300751） ', '计算机/IT 服务Ⅱ启 ', '仅供内部参考，请勿外传白酒Ⅱ/食品饮料', '仅供内部参考，请勿外传国元早安直通车', '11 Nov 2022CMB International Global Markets | Equity Research | Company Update', '仅供内部参考，请勿外传 证券研究报告浪 潮信息 (000977 CH)', '证券研究报告 | 基金研究报告2022 年 11 月 6 日', '仅供内部参考，请勿外传固定收益专题2022 年 11 月 14 日', '销售持续复苏，拿地强度保持较高水平——招商蛇口 2022 年三季报点评', '仅供内部参考，请勿外传宏观研究', '仅供内部参考，请勿外传电子/元件', '  仅供内部参考，请勿外传', '光伏设备/电力设备', '风语筑(603466.SH)', '[Table_Message]2 022-11-08公司点评报告买入/维持', '仅供内部参考，请勿外传2022 年 11 月 11 日公司研究评级：买入(维持)', '仅供内部参考，请勿外传证券研究报告 | 2022年11月14日', '证券研究报告| 公司点评2022 年 11 月 10 日', '仅供内部参考，请勿外传2022 年 11 月 16 日', '珀莱雅（603605.SH', '仅供内部参考，请', '仅供内部参考，请勿外传宏观研究 ', '2022 年 11 月 07 日公司研究评级：买入(维持)', '仅供内部参考，请勿外传康 德 莱(603987.SH)2022 年 10 月 28 日', '仅供内部参考，请勿外传2022 年 10 月 26 日', '专用机械', '煤炭主业经营向好，资产注入落地在即', '仅供内部参考，请勿外传煤炭开采', '2022 年 11 月 01 日公司研究●证券研究报告东方电缆（603606.SH）', '证券研究报告 | 深度报告 | 化学制品', '公司研究/信息服务/信息科技服务证券研究报告金证股份（600446）公司季报点评2022 年 11 月 03 日', '2022 年 11 月 10 日公司研究评级：增持(首次覆盖)', '公司研究/机械工业/航空航天与国防证券研究报告中航西飞（000768）公司季报点评2022 年 11 月 01 日投资评级 优于大市 ', '仅供内部参考，请勿外传2022 年 11 月 07 日', '仅供内部参考，请勿外传[Table_Info1] 红豆股份(600400)服装家纺/纺织服饰8 [Table_Invest] ', '公司报告 | 首次覆盖报告', '证券研究报告|基金研究', '仅供内部参考，请勿外传2022 年 11 月 03 日公司研究评级：买入(维持)', '证券研究报告 | 2022年11月11日', '公司研究/金融/银行证券研究报告交通银行（601328）公司季报点评2022 年 10 月 31 日', '仅供内部参考，请勿外传2022 年 11 月 8 日', '2022 年 11 月 08 日公司研究●证券研究报告', '新能源动力系统', '证券研究报告·公司点评报告·特钢Ⅱ广大特材（688186） ', '仅供内部参考，请传行业 勿外研究 证 券 研 究 报 告', '仅供内部参考，请勿外传南玻Ａ(000012)玻璃玻纤/建筑材料[Table_Invest] ', '仅供内部参考，请勿外传公司研究|医疗保健|制药、生物科技与生 命科学', '仅供内部参考，请勿外传证券投资基金研究报告/基金报告', '证券研究报告·公司点评报告·专用设备正帆科技（688596） ', '[Table_Title] Q3 业绩短期承压，夯实内功静待复苏', '证券研究报告 | 行业策略报告2022 年 11 月 7 日', '仅供内部参考，请勿外传证券研究报告·公司点评报告·服装家纺奥康国际（603001） ', '证券研究报告 瑞 芯微 (603893 CH)', '仅供内部参考，请勿外传贵金属', '证券研究报告 | 公司深度报告2022 年 11 月 15 日', '仅供内部参考，请勿外传证券研究报告 | 2022年10月18日', '  策略专题报告', '2022 年 11 月 1 日', '证券研究报告晶 澳科技 (002459 CH)', '仅供内部参考，请勿外传研2022 年 11 月 14 日究', '公司研究/信息设备/半导体产品与半导体设备证券研究报告鼎阳科技（688112）公司季报点评2022 年 11 月 08 日', '证券研究报告亿 纬锂能 (300014 CH)', '2022 年 10 月 28 日公司研究●证券研究报告珀莱雅（603605.SH）', '公司报告 | 公司深度研究 ', '[Table_Title] B 端表现优异，利润水平提升', '仅供内部参考，请勿外传证券研究报告·行业跟踪周报·建筑装饰', '证券研究报告 | 固定收益研究2022 年 11 月 15 日', '仅供内部参考，请勿外传证券研究报告 | 2022 年 11 月 15 日', '公司研究/交通运输/航空货运与物流证券研究报告韵达股份（002120）公司季报点评 2022 年 11 月 07 日', '仅供内部参考，请勿外传航空运输', '仅供内部参考，请勿外传基础化工', '仅供内部参考，请勿外传证券研究报告·公司点评报告·自动化设备炬光科技（688167） ', '公司研究/汽车与零配件/汽车零配件证券研究报告拓普集团（601689）公司季报点评2022 年 11 月 01 日', '煤炭/煤炭开采', '仅供内部参考，请勿外传海利尔(603639)', '“水固气能”四维发展，降本增效业绩稳增', '证券研究报告科 锐国际 (300662 CH)', '2022 年 11 月 13 日公司研究评级：买入(首次覆盖)', '仅供内部参考，请勿外传2022 年 11 月 4 日', '2022 年 11 月 05 日行业研究   买入   (维持评级) ', '美[Ta瑞ble新_Sto材ckN（am3eR0p0tT8yp4e8]', '新宝股份（002705） ', '仅供内部参考，请勿外传2022 年 11 月 14 日ETF 日报', '仅供内部参考，请勿外传证券研究报告 | 2022年11月02日', '公司报告 | 季报点评', '证券研究报告 | 行业深度报告2022 年 11 月 13 日', '仅供内部参考，请勿外传穿越周期，涅槃重生', '个股推荐投资咨询部', '2022 年 10 月 30 日公司研究评级：买入(维持)研究所 ', '证券研究报告 | 2022年11月08日', '仅供内部参考，请勿外传机械', '2022 年 10 月 28 日公司研究●证券研究报告云海金属（002182.SZ）', '证券研究报告 | 首次覆盖报告 2022 年 11 月 13 日', '2022 年 11 月 10 日公司研究●证券研究报告', '仅供内部参考，请勿外传行业研究/信息服务行业月报', '计算机/软件开发”取得突破 ', '传媒[Table_Invest] ', '仅供内部参考，请勿外传2022 年 11 月 06 日岳阳林纸（600963.SH） ', '证券研究报告 | 首次覆盖报告 2022 年 11 月 10 日', '公司研究/化工/基础化工材料制品证券研究报告元利科技（603217）公司研究报告 2022 年 11 月 08 日', '公司研究/金融/银行证券研究报告兴业银行（601166）公司季报点评 2022 年 11 月 03 日', '仅供内部参考，请勿外传欧普康视（300595）', '炬华科技(300360) / 电网设备 / 公司深度研究报告 / 2022.11.11', '仅供内部参考，请勿外传石油石化/油服工程', '仅供内部参考，请勿外传证券研究报告·公司点评报告·化学制药纳微科技（688690） ', '仅供内部参考勿外传公司研 ，请究 证 券 研 究 报 告', '公司研究/机械工业/航空航天与国防证券研究报告天奥电子（002935）公司季报点评2022 年 10 月 29 日', '仅供内部参考，请勿外传2022 年 10 月 28 日公司研究评级：买入(维持)', '[Table_2R0e2p2o r年tD a1te1] 月 07 日[Table_Re中p国ort中St免oc(k6N0a1m88e8] )', '仅供内部参考，请勿外传2022 年 11 月 04 日公司研究评级：买入(维持)研究所 ', '仅供内部参考，请勿外传行业研究/机械工业/电气设备行业周报', '仅供内部参考，请勿外传每日早报最新研究与资讯', '仅供内部参考 ，请勿外传宏观研究 ', '证券研究报告 | 公司点评报告2022 年 11 月 03 日', '港股公司报告 | 公司专题研究', '仅供内部参考，请勿外传电力设备', '公司研究 | 首次报告潮宏基 002345.SZ', '公司研究/信息设备/电子元器件证券研究报告沪电股份（002463）公司季报点评2022 年 11 月 05 日', '公司研究/金融/券商证券研究报告中信证券（600030）公司季报点评2022 年 11 月 01 日', '证券研究报告·海外公司点评·汽车(HS)蔚来-SW（09866.HK） ', '证券研究报告 | 宏观分析报告2022 年 11 月 14 日', '仅供内部参考，请勿外传公司研究|汽车|汽车零部件川环科技(300547.SZ)公司点评', '仅供内部参考，请勿外传证券研究报告·公司点评报告·IT 服务Ⅱ海量数据（603138） ', '仅供内部参考，请勿外传 证券研究报告盛 和资源 (600392 CH)', '仅供内部参考，请勿外传姚记科技(002605)', '仅供内部参考，请勿外传证券研究报告 | 宏观专题研究 | 中国宏观', '仅供内部参考，请勿外传研2022 年 11 月 09 日究 报出口何时见底？ ', '石英股份 603688.SH', '仅供内部参考，请勿外传家用电器/小家电务拓展顺利 ', '证券研究报告 | 点评报告 | 白色家电', '新天绿色能源（956 HK） | 2022 年 11 月 4 日', '2022 年 11 月 08 日降本路径清晰', '仅供内部参考，请勿外传固收定期策略', '仅供内部参考，请勿传券研 外债究 证 券 研 究 报 告', '仅供内部参考，请勿外传海泰新光（688677.SH） ', '仅供内部参考，请勿外传2022 年 11 月 07 日公司研究评级：买入(维持)', '仅供内部参考，请勿外传医药生物行业', '红[Ta豆ble股_Sto份ckN（am6eR0p0tT4yp0e0]） ', '2022 年 10 月 31 日公司研究●证券研究报告锦浪科技（300763.SZ）', '家用电器/小家电可期 ', '仅供内部参考，请勿外传2022 年 11 月 14 日证券研究报告|行业研究|行业专题', '仅供内部参考，请勿外传证券研究报告 | 宏观研究', '美容护理/化妆品', '＃industryId＃有色金属', '医药生物/医药商业', '公司研究/信息服务/软件证券研究报告恒生电子（600570）公司季报点评2022 年 11 月 03 日', '仅供内部参考，请勿外传证券研究报告 | 2022年09月27日', '仅供内部参考，请勿外传＃industryId＃光伏设备', '公司研究 | 首次报告富士莱 301258.SZ', '公司研究|汽车|汽车零部件证券研究报告川环科技(300547.SZ)公司点评2022 年 11 月 6 日', '计算机/计算机设备', '公司研究/金融/银行证券研究报告张家港行（002839）公司季报点评2022 年 10 月 31 日', '浙江仙通(603239)', '证券研究报告 | 点评报告 | 医疗美容', '[2T0ab2le2_年Ma1in1]月 9日', '公司研究/家用电器与器具/家用电器证券研究报告新宝股份（002705）公司季报点评2022 年 10 月 29 日', '证券研究报告 | 公司点评报告2022 年 11 月 5 日', '仅供内部参考，请勿外传证券研究报告·行业跟踪周报·北交所 ', '仅供内部参考，请勿外传君实生物(688180.SH)', '仅供内部参考，请勿外传公司研究/信息设备/电子设备与仪器四方光电（688665）公司季报点评 2022 年 11 月 05 日', '精工钢构(600496) / 专业工程 / 公司点评 / 2022.10.31Q3 盈利能力改善，', '仅供内部参考，请勿外传债券研 究 证 券 研 究 报 告', '2022 年 10 月 31 日公司研究●证券研究报告东睦股份（600114.SH）', '仅供内部参考，请勿外传宏观研究宏观快报点评外需继续走弱 ', '仅供内部参考，请勿外传行业研究|可选消 费可选消费行业周报', '仅供内部参考，请勿外传自动化设备/机械设备', '证券研究报告 | 点评报告 | 通用设备', '2022 年 11 月 06 日', '2022 年 11 月 07 日业绩短期承压', '公司研究/信息设备/通信设备证券研究报告中天科技（600522）公司季报点评2022 年 11 月 07 日', '证券研究报告孚能科技(688567.SH)', '山西汾酒(600809)', '东兴晨报P1', '中望软件（688083.SH） ', '銀河娛樂集團（27） 更新報告', '证券研究报告安琪酵母(600298.SH)', '证券研究报告嘉 元科技 (688388 CH)', '非银金融/证券Ⅱ', '2022 年 11 月 9 日', '公司研究/造纸轻工/轻工制造证券研究报告欧派家居（603833）公司季报点评2022 年 10 月 30 日', '证券研究报告蓝 色光标 (300058 CH)', '炬华科技(300360) / 电网设备 / 公司深度研究报告 / 2022.11.11 ', '仅供内部参考，请勿外传2022 年 11 月 13 日聚焦三大核心', '仅供内部参考，请勿外传 公司研究 ', '仅供内部参考，请勿外传宏观经济 | 专题报告', '消费电子/电子', '一步打开', '仅供内部参考，请勿外传策略研 究权威报告解读', '仅供内部参考，请勿外传2022 年 11 月 2 日', '公司研究/信息设备/通信设备证券研究报告中瓷电子（003031）公司季报点评2022 年 11 月 07 日', '证券研究报告乐 鑫科技 (688018 CH)', '  仅供内部参考，请勿外传[Table_2R0e2p2o r年tD a1te1] 月 09 日', '证券研究报告 | 点评报告 | 专用设备', '计算机/软件开发', '公司研究/信息设备/电子元器件证券研究报告永新光学（603297）公司季报点评2022 年 11 月 07 日款政策，', '   策略专题报告', '仅供内部参考，请勿外传北交所首次覆盖报告', '2022 年 11 月 03 日公司研究●证券研究报告爱旭股份（600732.SH）', '仅供内部参考，请勿外传 证券研究报告顺 络电子 (002138 CH)', '仅供内部参考，请勿外传公司研究/造纸轻工/轻工制造志邦家居（603801）公司季报点评2022 年 11 月 02 日', '仅供内部参考，请勿外传公司研究/机械工业/其他专用机械 银都股份（603277）公司研究报告 ', '公司研究/信息设备/电子元器件证券研究报告深南电路（002916）公司季报点评2022 年 11 月 04 日', '仅供内部参考，请勿外传公司研究/食品统一企业中国（0220.HK）研究报告[Table_InvestInfo] 投资评级 优于大市', '2022 年 11 月 10 日', '仅供内部参考，请勿外传公司研究/医药与健康护理奕瑞科技（688301）公司信息点评2022 年 11 月 11 日', '  策略周报', '仅供内部参考，请勿外传宏观经济 | 深度报告', '证券研究报告药明康德(603259.SH)', '证券研究报告 | 公司点评2022 年 11 月 09 日', '仅供内部参考，请勿外传电力设备及新能源2022 年 11 月 15 日', '证券研究报告 | 深度报告 | 煤炭开采', '仅供内部参考，请勿外传2022 年 11 月 13 日', '11 Nov 2022CMB International Global Markets | Equity Research | Company Update ', '仅供内部参考，请勿外传房地产', '仅供内部参考，请勿外传2022 年 11 月 14 日', '分析师：', '仅供内部参考，请勿外传公司研究/信息设备/半导体产品与半导体设备闻泰科技（600745）公司季报点评 2022 年 11 月 09 日', '仅供内部参考，请勿外传中望软件（688083.SH） ', '仅供内部参考，请勿外传2022 年 11 月 11 日每日信息速递', '潍柴动力(000338) / 汽车零部件 / 公司点评 / 2022.11.01', '仅供内部参考，请勿外传证券研究报告 | 宏观经济研究 ', '证券研究报告 | 行业点评报告2022 年 11 月 13 日', '仅供内部参考，请勿外传证券研究报告·公司深度研究·专业工程深桑达 A（000032） ', '仅供内部参考，请勿外传 证券研究报告高 新兴 (300098 CH)', '2022 年 11 月 03 日公司研究评级：买入(维持)', '证券研究报告 | 点评报告 | 专业服务', '证券研究报告 | 公司点评报告2022 年 10 月 30 日', '仅供内部参考，请勿外传行业研究/行业周报', '仅供内部参考，请勿外传策略研究策略专题报告', '广联达(002410) / 软件开发 / 公司点评 / 2022.11.15', '仅供内部参考，请勿外传汽车/汽车整车', '证券研究报告 | 固定收益研究2022 年 11 月 13 日', '普源精电-U(688337) / 通用设备 / 公司点评 / 2022.11.08强化产业协同', '仅供内部参考，请勿外传宏观研究宏观快报点评', '行业报告 | 行业点评 ', '仅供内部参考，请勿外传＃industryId＃ 医药生物', '证券研究报告 | 季报点评2022 年 10 月 27 日', '公司研究/信息设备/半导体产品与半导体设备证券研究报告华润微（688396）公司季报点评2022 年 10 月 28 日', '仅供内部参考，请勿外传公司研究＃industryId＃煤炭开采', '仅供内部参考，外传宏研 请勿观究 证 券 研 究 报 告', '港股通证券研究报告鞍 钢股份 (347 HK/000898 CH) ', '济川药业(600566) / 医药生物 / 公司季报点评 / 2022.10.26 ', '证券研究报告 | 基金研究2022 年 11 月 12 日 ', '有色金属 / 行业投资策略周报 / 2022.11.13', '证券研究报告康 龙化成 (300759 CH)', '仅供内部参考，请勿外传行业研究/行业点评', '仅供内部参考，请勿外传包钢股份(600010)', '15 Nov 2022CMB International Global Markets | Equity Research | Company Update ', '证券研究报告：汽车行业|公司事件点评', '固定收益 | 固定收益专题', '智飞生物 300122.SZ', '仅供内部参考，请勿外传2022 年 11 月 07 日公司研究评级：增持(维持)', '证券研究报告 | 公司点评 老白干酒(600559.SH)2022 年 10 月 30 日', '证券研究报告·公司研究·通用设备 证券研究报告·公司研究·通用设备  华锐精密（688059） ', '证券研究报告 | 2022年10月26日', '海利尔(603639)', '仅供内部参考，请勿外传证券研究报告·公司点评报告·医药商业益丰药房（603939） ', '仅供内部参考，请勿外传行业研究/有色金属行业跟踪报告', '仅供内部参考，请勿外传证券研究报告·公司点评报告·光伏设备晶盛机电（300316） ', '仅供内部参考，请勿外传宏观经济 宏观经济周报', '爱尔眼科(300015) / 医疗服务 / 公司季报点评 / 2022.10.26', '包钢股份(600010)', '仅供内部参考，请勿外传金山办公(688111.SH)2022 年 11 月 07 日润超预期，C 端', '沃尔德(688028) / 通用设备 / 公司深度研究报告 / 2022.11.13 ', '证券研究报告 | 基金研究（公募） 2022 年 11 月 8 日', '证券研究报告 | 点评报告 | 风电设备', '通用设备', '华特气体(688268) / 电子化学品Ⅱ / 公司点评 / 2022.11.13 ', '公司研究|建筑装饰|专业工程证券研究报告圣晖集成(603163)深度报告2022 年 11 月 13 日', '仅供内部参考，请勿外传城投随笔系列  发飞的津城建，底线与弹性？ ', '金山办公(688111) / 软件开发 / 公司点评 / 2022.11.06', '伟星股份 002003.SZ', '仅供内部参考，请勿外传证券研究报告 | 2022年11月16日', '仅供内部参考，请勿外传2022 年 11 月 14 日行业研究评级：推荐(维持)', '仅供内部参考，请勿外传研2022 年 11 月 13 日究报“孚”摇直上', '华致酒行 300755.SZ ', '证券研究报告 | 公司点评报告2022 年 10 月 27 日', '仅供内部参考，请勿外传 证券研究报告 卓 胜微 (300782 CH)', '汽车/汽车零部件', '证券研究报告 | 公司点评 君实生物(688180.SH) 2022 年 11 月 05 日', '仅供内部参考，请勿外传公司研究/机械工业/其他专用机械 华宏科技（002645）公司跟踪报告2022 年 11 月 15 日', '证券研究报告 | 策略研究2022 年 11 月 4 日日 ', '仅供内部参考，请勿外传2022 年 11 月 15 日', '化学原料/基础化工[Table_Invest] ', '三一重工(600031) / 工程机械 / 公司点评 / 2022.11.01绩承压，国际化战略成效显著', '仅供内部参考，请勿外传中泰化工周度观点 22W43： ', '仅供内部参考，请勿外传中 泰 证 券 研 究 所  专 业 ｜ 领 先 ｜ 深 度 ｜ 诚 信 ', '仅供内部参考，请勿外传证券研究报告·策略报告·策略点评策略点评 20221108', '陕鼓动力(601369) / 通用设备 / 公司点评 / 2022.11.12气储能项目压缩机组，打开设', '2[T0ab2l2e_年Ma1i1n]月 14日', '证券研究报告广 州酒家 (603043 CH)', '证券研究报告·公司点评报告·光伏设备昱能科技（688348） ', '公司研究/化工/农药与化肥证券研究报告新奥股份（600803）公司季报点评2022 年 10 月 29 日', '仅供内部参考，请勿外传东风股份（601515.SH） ', '[Table_Info1] 红豆股份(600400)服装家纺/纺织服饰发布8 [Table_Invest] ', '仅供内部参考，请勿外传证券研究报告 | 宏观经济研究2022 年 11 月 11 日', '仅供内部参考，请勿外传公司研究＃industryId＃ 医药生物', '公司研究', '研2022 年 11 月 13 日究报“孚”摇直上', '精锻科技 300258.SZ', '仅供内部参考，请勿外公司研 传究 证 券 研 究 报 告', '自动化设备/机械设备', '仅供内部参考，请勿外传深度报告', '港股通证券研究报告信 义光能 (968 HK)', '仅供内部参考，请勿外传证券研究报告·公司点评报告·通用设备美畅股份（300861） ', '公司研究/建筑工程/建筑证券研究报告中国建筑（601668）公司季报点评2022 年 10 月 31 日 ', '长安汽车(000625) / 乘用车 / 公司点评 / 2022.11.01', '鱼跃医疗(002223) / 医疗器械 / 公司点评 / 2022.11.09 ', '证券研究报告 | 深度报告 | 光学光电子', '仅供内部参考，请勿外传短期受损，长期稳健', '仅供内部参考，请勿外传公司研究/信息设备/电子元器件洲明科技（300232）公司季报点评2022 年 11 月 07 日', '  仅供内部参考，请勿外传[Table_2R0e2p2o r年tD a1te1] 月 07 日[Table_Re中p国ort中St免oc(k6N0a1m88e8] )', '仅供内部参考，请勿外传证券研究报告 | 策略研究投资策略研究', '旅游及景区 / 行业投资策略周报 / 2022.11.09', '2022 年 10 月 28 日公司研究●证券研究报告中海油服（601808.SH）', '证券研究报告 | 深度报告 | 半导体', '仅供内部参考，请勿外传证券研究报告 | 2022年11月06日', '仅供内部参考，请勿外传家用电器/小家电', '证券研究报告 | 业绩前瞻点评 | 互联网电商  ', '公司研究|医疗保健|制药、生物科技与生 命科学证券研究报告达仁堂(600329)公司点评报告', '仅供内部参考，请勿外传海外研究＃industryId＃ 纺织服装', '公司研究/商业贸易/专营零售证券研究报告小商品城（600415）公司季报点评 2022 年 10 月 31 日', '仅供内部参考，请勿外传银行', '公司研究/信息设备/电子元器件证券研究报告国博电子（688375）公司季报点评2022 年 11 月 01 日', '证券研究报告 | 行业点评报告2022 年 11 月 07 日', '普源精电-U(688337) / 通用设备 / 公司点评 / 2022.11.08 强化产业协同', '仅供内部参考请勿外宏观研 ，传究 ', '仅供内部参考，请勿外传证券研究报告 | 行业专题研究2022 年 11 月 15 日', '仅供内部参考，请勿外传2022 年 11 月 11 日', '电子', '证券研究报告 | 点评报告 | 轨交设备Ⅱ', '电力', '中国电建(601669)[Table_Title] ', '仅供内部参考，请勿外传证券研究报告宏观', '宏观报告 | 宏观点评', '[Table_Title] 研究报告 Research Report ', '仅供内部参考，请勿外传2022 年 11 月 13 日公司研究评级：买入(首次覆盖)研究所 ', '2022 年 10 月 31 日公司研究●证券研究报告', '2022 年 11 月 14 日', '仅供内部参考，请勿外传2022 年 11 月 07 日流动性周报', '证券研究报告 | 2022年11月06日', '机械设备/专用设备ntinuity 奖，', '鱼跃医疗(002223) / 医疗器械 / 公司点评 / 2022.11.09', '明月镜片 301101.SZ', '证券研究报告 | 公司点评 今 世 缘(603369.SH)2022 年 10 月 30 日', '证券研究报告 | 行业策略报告2022 年 11 月 14 日', '仅供内部参考，请勿外传公司研究/信息服务/信息科技服务 启明星辰（002439）公司跟踪报告2022 年 11 月 14 日', '仅供内部参考，请勿外传研2022 年 11 月 13 日', '港股通证券研究报告华 电国际电力股份 (1071 HK)', '公司研 究证 券 研 究 报 告', '!\"#$%&\\'(2022 ) 11 * 8 +', '仅供内部参考，请勿外传2022 年11 月06 日公司研究评级：买入( 维持)', '仅供内部参考，请勿外传 证券研究报告蓝 色光标 (300058 CH)', '仅供内部参考，请勿外传非银金融', '仅供内部参考，请勿外传证券研究报告 | 行业点评 | 工程机械', '仅供内部参考，请勿外传医药生物', '2022 年 10 月 29 日', '仅供内部参考，请勿外传证券研究报告轻 工制造', '仅供内部参考，请勿外传医药生物/医疗服务', '证券研究报告/公司点评2022 年 10 月 31 日', '食品饮料', '证券研究报告 | 2022年11月09日', '仅供内部参考，请勿外传证券研究报告固 收', '中国财险(02328):维持买入评级,目标价上调至9.7港元', 'epyTtropeR_elbaT|tsriF_elbaT仅供内部参考，请勿外传告证券研究报告', '  宏观点评报告', '仅供内部参考，请勿外传大消费行业', '公司研究/食品/食品加工证券研究报告紫燕食品（603057）公司研究报告2022 年 11 月 11 日', '仅供内部参考，请勿外传证券研究报告·公司点评报告·风电设备新强联（300850） ', '仅供内部参考，请勿外传风况不佳拖累盈利，静待四季度修复', '2022 年 10 月 29 日公司研究●证券研究报告慕思股份（001323.SZ）', '仅供内部参考，请勿外传2022 年 10 月 17 日', '证券研究报告 | 行业定期报告2022 年 11 月 06 日', '公司研究/传媒证券研究报告锋尚文化（300860）公司季报点评2022 年 11 月 10 日', '证券研究报告 | 公司点评报告2022 年 10 月 28 日', '证券研究报告发送给东方财富信息 股份有限公司。版权归华西证券所有，请勿转发。 p仅供机构投资者使用', '证券研究报告 | 2022年10月30日', '证券研究报告浪 潮信息 (000977 CH)', '公司研究/机械工业证券研究报告北路智控（301195）公司研究报告2022 年 11 月 10 日', '仅供内部参考，请勿外传宏观经济 | 动态跟踪', '思特威-W 688213.SH', '仅供内部参考，请勿外传证券研究报告·公司点评报告·医疗服务药康生物（688046） ', '公司研究|可选消费|媒体Ⅱ证券研究报告锋尚文化(300860)公司点评报告2022 年 11 月 03 日', '医药生物/化学制药', '仅供内部参考，请勿外传证券研究报告·海外公司点评·汽车(HS)理想汽车-W（02015.HK） ', '仅供内部参考，请勿外传公司研究/信息服务/软件金山办公（688111）公司季报点评2022 年 11 月 02 日', '仅供内部参考，请勿外传公司研究/机械工业/通用机械 浙江鼎力（603338）公司季报点评2022 年 11 月 10 日', '仅供内部参考，请勿外传宏观研究2022 年 11 月 10 日', '公司研究/信息设备/电子元器件证券研究报告歌尔股份（002241）公司季报点评2022 年 11 月 08 日', '证券研究报告 | 基金研究（公募） 2022 年 11 月 6 日', '仅供内部参考，请勿外传安信证券宏观研究', '仅供内部参考，请勿外传公司研究/化工/基础化工材料制品 巨化股份（600160）公司研究报告 ', '策略专题报告 / 2022.11.13', '港股通证券研究报告F IT Hon Teng (6088 HK)', '公司研究/房地产/房地产证券研究报告华侨城 A（000069）公司季报点评2022 年 10 月 29 日', '2022 年 10 月 28 日公司研究●证券研究报告重庆啤酒（600132.SH）', '爱玛科技(603529) / 摩托车及其他 / 公司点评 / 2022.11.01', '国茂股份(603915) / 通用设备 / 公司点评 / 2022.11.12', '欧科亿(688308) / 通用设备 / 公司点评 / 2022.11.05', '公司研究/信息设备/电子元器件证券研究报告锐科激光（300747）公司季报点评2022 年 11 月 07 日', '仅供内部参考，请勿外传金属新材料/有色金属', '仅供内部参考，请勿外传公司研究/公用事业/环保盛剑环境（603324）公司季报点评2022 年 11 月 07 日', '公司研究/家用电器与器具/家用电器证券研究报告海尔智家（600690）公司季报点评 2022 年 11 月 08 日[Table_InvestInfo] 投资评级 优于大市', '证券研究报告 | 点评报告 | 软件开发', '[2T0ab2le2_年Ma1in1]月 11日', '仅供机构投资者使用证券研究报告|公司点评报告[Table2_0D2a2t e年] 10 月 29 日', '仅供内部参考，请勿外传证券研究报告·公司点评报告·装修建材科顺股份（300737） ', '仅供内部参考，请勿外传2022 年 11 月 04 日公司研究评级：增持(维持)', '仅供内部参考，请勿外传机械设备', '仅供内部参考，请勿外传证券研究报告 | 2022年11月13日', '公司研究/房地产/房地产证券研究报告龙湖集团（0960.HK）公司跟踪报告2022 年 10 月 30 日', '仅供内部参考，请勿外传投资策略点评', '仅供内部参考，请勿外传深度报告2022 年 11 月 10 日', '仅供内部参考，请勿外传证券研究报告·公司点评报告·证券Ⅱ东方财富（300059） ', '行业报告 | 行业专题研究'}\n"
     ]
    }
   ],
   "source": [
    "print(set(df['header'].tolist()))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "7d9d6025",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.9"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}
